《未来学徒》:怎么让人工智能记住并且在人群中认出你?( 三 )

但是RNN还是存在着巨大的缺陷,那就是它不知道如何选择该记忆什么忘记什么。这就导致了机器学习系统把所有信息都记了下来。这样首先给运算能力增加了大量负荷,其次也让神经网络难以判定比较遥远信息的对应性。这在AI界被称为RNN的“长序依赖”问题。

举例来说,用RNN协助进行翻译,它会记住连续语句中的吃饭、喝水等动作。但如果主人公在前几段举起了酒杯,这一段开始喝酒,那它就彻底分不清了....

针对这些问题,从业者发明了LSTM,所谓长短期记忆网络,就是来区分哪些记忆要归位长期记忆,哪些记忆只需要短期储存。这样就可以在循环记忆网络中记住关键信息的同时减轻运算工作量。

所以LSTM是一种特殊的RNN。

回到谈恋爱的话题,RNN就像一个呱呱坠地的婴儿,虽然有了记忆,但无法区别记忆,不知道该记住什么。而LSTM就像情窦初开的少年,他已经能记住女孩的名字、爱好、容貌,并将这些东西联系起来,推断出自己注定是备胎的悲惨现实……

三重门:LSTM的工作原理

推荐阅读