谷歌大脑教AI写代码,是不是为了取代程序员?( 七 )

谷歌人员参考了Transformer的位置编码与Multi-head Attention(MHA),改造了一个强大的隐式注意力模型,编码器会将初始状态和所有已知编辑编码为隐藏向量,解码器会将其解码为每一个编辑的位置、以及给定位置的编辑内容。

谷歌大脑教AI写代码,是不是为了取代程序员?

图7/10

(隐式注意力模型)

结果显示,改造后的隐式模型——双向注意力模型,能够在真实数据中实现高准确率、精准置信度和较好的可扩展性。它与显式模型的协同工作几乎可以解决所有任务,甚至是那些涉及元字符和具有较长替换序列的任务,这使机器洞察人类工程师的编程意图、并在将来写出“神似人类”的代码成为了可能。

简单来说这项研究的独特之处就在于,谷歌大脑用一个神经网络来学习优秀人类工程师的编程经验,不仅仅只是简单地把需求套进去得到一堆结构和功能相似的“静态”代码,而是去理解工程师的意图、决策等等,并将其应用到自己的编码过程中去。

推荐阅读