完全图解GPT-2：看完这篇就够了（二）(13)

2019-08-26

图26/36

你成功处理完单词「it」了！

我们尽可能详细地介绍了 transformer 模块。现在，你已经基本掌握了 transformer 语言模型内部发生的绝大部分情况了。回顾一下，一个新的输入向量会遇到如下所示的权重矩阵：

图27/36

而且每个模块都有自己的一组权重。另一方面，这个模型只有一个词嵌入矩阵和一个位置编码矩阵：

图28/36

如果你想了解模型中的所有参数，下面是对它们的详细统计结果：

推荐阅读

上一篇：做产品时，如何利用人性8大弱点？

下一篇：用Attention玩转CV，一文总览自注意力语义分割进展