团队|鱼和熊掌不可兼得?清华团队提出高准确率的可解释分类模型( 二 )


为了在更多场景中利用规则模型的优势 , 迫切需要解决以下问题:如何在保持可解释性的同时提高基于规则的模型的可扩展性?

团队|鱼和熊掌不可兼得?清华团队提出高准确率的可解释分类模型
文章图片

图 1:传统的基于规则的模型及其拓展模型
规则表征学习器
为了解决以上问题 , 论文提出了一种新的基于规则的模型 , 规则表征学习器(Rule-based Representation Learner, RRL) , 用于可解释分类任务 。 为了获得良好的模型透明度和表达能力 , RRL 被设计为一个层级模型(如图 2 所示) , 由一个二值化层 , 若干逻辑层 , 一个线性层 , 以及层与层之间的连边构成:
二值化层(Binarization Layer)

  • 用于对连续值特征进行划分 。
  • 结合逻辑层可实现特征端到端离散化 。
逻辑层(Logical Layer)
  • 用于自动学习规则表征 。
  • 每个逻辑层由一个合取层和一个析取层构成 。
  • 两层逻辑层即可表示合取范式和析取范式 。
线性层(Linear Layer)
  • 用于输出分类结果 。
  • 可以更好地拟合数据的线性部分.
  • 权重可用于衡量规则重要度 。
跳连接(Skip Connection)
  • 用于自动跳过不必要的层 。

团队|鱼和熊掌不可兼得?清华团队提出高准确率的可解释分类模型
文章图片

图 2:规则表征学习器举例 。 虚线框中展示了一个离散逻辑层及其对应的规则 。
逻辑层
逻辑层(Logical Layer)使用逻辑规则自动学习数据表征 。 为了实现这一点 , 逻辑层被设计为同时具有离散版本和连续版本 。 二者共用参数 , 但离散版本用于训练、测试和解释 , 而连续版本仅用于训练 。
离散逻辑层
逻辑层中的每个节点都代表了一个逻辑运算 , 包括合取和析取 , 而层与层之间边的连接则指明了运算有哪些变量参与 。 离散逻辑层节点对应的逻辑运算如下 , 其中

团队|鱼和熊掌不可兼得?清华团队提出高准确率的可解释分类模型
文章图片


分别为合取层和析取层中的节点 ,

团队|鱼和熊掌不可兼得?清华团队提出高准确率的可解释分类模型
文章图片



团队|鱼和熊掌不可兼得?清华团队提出高准确率的可解释分类模型
文章图片

则是邻接矩阵 。 图 2 虚线框中展示了一个离散逻辑层的具体例子 。

团队|鱼和熊掌不可兼得?清华团队提出高准确率的可解释分类模型

推荐阅读