选择可解释性高的机器学习模型，而不是决策风险高的黑匣子模型( 五 )_作者|AdrianColyer,VenturePartner,Acc

\r\n让我们停止将近似值称为黑盒模型预测的解释。对于没有明确使用种族的模型，会自动解释为“此模型预测您是黑人而将您预测为目标对象” ，这并不是该模型实际应该做的工作。 \r\n在图像空间中，显着性地图可以向我们展示网络在看什么，但是其实它们也不能告诉我们网络在看什么。许多不同类的显着性映射可能非常相似。在下面的示例中，基于显着性的“解释”看起来非常相似，原因在于模型为何认为图像是沙哑的，以及为什么认为图像是长笛的！\r\n

\r\n由于黑匣子的解释并不能真正解释问题，因此识别黑匣子模型并对其进行故障排除可能非常困难。 \r\n3、反对可解释模型的争论\r\n考虑到黑匣子模型的问题及其解释性，为什么黑匣子模型如此流行？很难与深度学习模型最近取得的巨大成功抗衡，但是我们不应该由此得出结论：更复杂的模型总是更好。 \r\n人们普遍认为，越复杂的模型越准确，这意味着要实现最佳的预测性能，就需要一个复杂的黑匣子。但是，通常情况并非如此，尤其是当数据结构化时，就自然有意义的特征而言，具有良好的表示能力。