选择可解释性高的机器学习模型，而不是决策风险高的黑匣子模型( 三 )_作者|AdrianColyer,VenturePartner,Acc

\r\n本文是技术和哲学论点的混合，本文的两个主要结论：第一，我对可解释性高的机器学习模型和决策风险高的黑匣子模型之间区别的理解，以及为什么前者可能有问题；其次，它是创建真实可解释模型的技术的重要参考。 \r\n在医疗和刑事司法领域，越来越多的趋势将机器学习（ML）运用于对人类生活产生深远影响的高风险预测应用程序中……缺乏缺乏透明性和可预测性的预测模型可能会（已经造成）严重后果……\r\n1、定义术语\r\n一个模型可能是一个黑匣子，其原因有两个：（a）该模型计算的功能过于复杂，以至于任何人都无法理解，或者（b）该模型实际上可能很简单，但是其细节是专有的不可检验。 \r\n在可解释的机器学习中，我们使用复杂的黑匣子模型（例如DNN）进行预测，并使用创建的第二个（事后）模型来解释第一个模型的工作。这里的一个经典示例是 LIME ，它探索复杂模型的局部区域用以发现决策边界。 \r\n一个可解释模型是用于预测的模型，可以自己直接检验和人类专家解释。 \r\n可解释性是特定于域的概念，因此不能有通用的定义。但是，通常可解释的机器学习模型以模型形式受限，因此它对某人有用，或者服从领域的结构知识，例如单调性或来自领域知识的物理约束。