模型|经逆向工程，Transformer「翻译」成数学框架 | 25位学者撰文 ?Transformer进行逆向研究。Transformer是Google团队在2017年6月提出的NLP经典之作，由AshishVaswani等人... 2021-12-28
Pre-LN|归一化提高预训练、缓解梯度不匹配，Facebook的模型超越GPT-3 在原始的Transformer架构中，LayerNorm通常在Residual之后，称之为Post-LN（Post-LayerNormalization）Transf... 2021-10-27
信息|Transformer又出新变体∞-former：无限长期记忆，任意长度上下文 空饫镉幸桓雒?former的新模型。在过去的几年里，Transformer几乎统治了整个NLP领域，还跨界... 2021-09-06
PyTorch|17篇注意力机制PyTorch实现，包含MLP、Re-Parameter系列热门论文 注意力（Attention）机制最早在计算机视觉中应用，后来又在NLP领域发扬光大，该机制将有限的... 2021-08-03
局部|CVPR 2021 | 超越卷积，自注意力模型HaloNet准确率实现SOTA 与卷积的参数依赖（parameter-dependent）缩放和内容无关（content-independent）交互相比，注意力场具... 2021-06-10
长度|傅里叶变换取代Transformer自注意力层，谷歌这项研究GPU上快7倍、TPU上快2倍 Transformer自2017年推出以来，其架构就开始在NLP领域占据主导地位。Transformer应用的唯一限制之一... 2021-05-17
架构|前馈网络+线性交互层=残差MLP，Facebook纯MLP图像分类架构入场 近日，Facebook提出了具有数据高效训练、用于图像分类的纯MLP架构ResMLP，当采用现代的训练方法... 2021-05-11
CNMO|三星Galaxy A12登俄官网 搭载联发科Helio P35芯片 在此之前我们曾经报道过关于三星Galaxy A12 相关信息 ， 近期这款机型在俄罗斯官方页面疑似被... 2020-11-18
![时候|[解锁101系列]跳出碎片化，专注你的专注](https://p9.itc.cn/q_70/images01/20210709/9df17d8afe88409a910323e1b55e6cf0.png)
