PredNet|说到深度学习架构中的预测编码模型，还得看PredNet( 十 )_预测|模型|表征|皮层|神经|编码

文章图片

表 4. 使用 LSTM 的原始 PredNet 模型和使用 LSTM 和 GRU 的 RBP 模型的比较。两个模型的层损失函数权重都是[.5, .4, .2] 。完整的模型规格可以通过查找表 3 中的模型 ID 找到。

文章图片

表 5. 原始 PredNet 模型和 RBP 三层模型的比较。两个模型的损失函数权重都是[1.0, .0, .0] 。关于模型的更多信息可以通过在表 3 中查询模型 ID 找到
5、小结
我们在这篇文章中对经典预测编码模型和深度学习架构中的预测编码模型进行了简单回顾。预测编码模型使用自上而下的重构机制来预测感觉输入或其低级别的表征，经典预测编码模型遵循 RB 协议。深度学习架构的 PredNet 构建了一个误差驱动的表征层次，其中，上层表示的输入来自于前一层的预测误差，但 PredNet 并不满足 RB 协议。我们对文献 [1] 中提出的基于 RB 协议改进的 PredNet 也进行了介绍。由给出的实验结果分析可以，改进后的遵循 RB 协议的 RBP 模型确实提高了性能。
从定义的角度出发分析，我们可以看出预测编码模型的目的是 “减少预测误差” 。不过，如果只是通过减少预测误差来生成表征，那么我们是无法保证这些获取的表征对特定的任务是有效的，例如分类任务。正如文献[1] 的作者在文章最后问到的，指导构建高阶表征的残余误差是如何提高 PredNet 模型的学习能力的？预测误差触发了学习，但是否还需要什么来触发特征层次的学习？
在我们撰写这篇文章的过程中对与预测编码相关的文献进行了搜索，与深度学习各类论文相比，预测编码相关的研究论文数量还非常有限。正如我们在上文中提到的，能够真正意义上称为深度学习架构中的预测编码的模型目前也就只有 PredNet 以及基于 PredNet 进行改进的一些版本。笔者猜测，这可能与预测编码 “仅致力于减少预测误差” 有关，在一些专门的任务中表现可能并不亮眼。但是，这种高度模拟大脑工作机制的方法 / 模型能否在实际场景中获得较好的应用效果，有待后续深入的研究和探索。
本文参考引用的文献：
[1] Hosseini M , Maida A . Hierarchical Predictive Coding Models in a Deep-Learning Framework[J]. 2020. https://arxiv.org/abs/2005.03230v1
[2] Huang Y , Rao R . Predictive coding[J]. Wiley Interdisciplinary Reviews Cognitive Science, 2011, 2(5):580-593. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.651.127&rep=rep1&type=pdf
[3] Lotter W , Kreiman G , D Cox. Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning. ICLR 2017. https://arxiv.org/pdf/1605.08104.pdf

PredNet|说到深度学习架构中的预测编码模型，还得看PredNet( 十 )

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)