论AI自动化思维中的隐性成本( 六 )_像许多药物一样

另外，即使是最简单的交互也可能引发麻烦。 2011年，一位名叫Michael Eisen的生物学家从他的一名学生身上发现了有趣的案例：一名毫不起眼的旧书《飞翔的奥秘：动物设计中的遗传学（The Making of a Fly: The Genetics of Animal Design）》在亚马逊网站上最低的开价竟然高达170万美元——还要再加上3.99美元的运费。第二低的价格则迅速攀升至210万美元。这两位卖家都是亚马逊上的老店，店铺里也都有着非常积极的评论。而当Eisen连续几天访问该书的页面时，他发现价格一直在不断增加，且似乎遵循着一定的规律。卖家甲的价格一直是卖家乙价格的99.83%；而第二天，卖家乙的价格则会上调至卖家甲前一天价格的127.059% 。 Eisen推断，卖家甲肯定是真的拥有这本书，而且打算长期占据亚马逊上最低的价格。与此同时，卖家乙没有这本书，所以把价格定得更高；这样如果有人购买，卖家乙可以当一把“二道贩子” ，直接拍下卖家甲的商品。

这两位卖家的推定策略都非常理性，但双方采取的算法在相互作用之后产生了不合常理的结果。同理可知，成千上万套机器学习系统在实际运行当中几乎必然会带来更难以预测的结果。正在大规模部署前沿机器学习系统的金融市场，为这类问题提供了理想的温床。 2010年，在令人痛苦的36分钟之内，由算法交易驱动的“闪电崩盘”事件从美国各大主要经济指数中蒸发掉超过1万亿美元财富。去年秋季， J.P.摩根分析师Marko Kolanovic认为，这种崩溃事件很可能再次发生，因为如今更多交易开始以自动化系统为基础。知识债务可能在这些系统之间相互碰撞并不断积累，甚至影响到彼此并未直接交互的系统。如果没有类似于资产负债表的制度存在，我们将无法预测或者追溯事件的前因后果，更无法确定我们是否值得承担知识债务、我们又能够承担多少知识债务。