2018 年 Top 10 影响力 AI 研究论文(14)_：2018年Top10影响力AI研究论文AI科技

论文思想要点

选取更大的批量大小和参数数目以后，GANs 的表现可以得到明显的提升；在生成器中加入正交正则化可以让模型对某种特定的技术更为敏感（就是「截断法」），这让研究人员们有办法控制样本保真度和样本多变性之间的平衡。领域内学者评价

这篇论文已经投递到了 ICLR 2019；BigGAN 的生成器自从在 TF Hub 上发布就受到了全世界 AI 研究人员们的追捧，（研究以及娱乐性质地）用它生成猫狗、手表、泳装、蒙娜丽莎、海岸等等各种内容的图像。未来可能的相关研究

尝试用更大的数据集训练模型，进一步缓和 GAN 的稳定性问题；探索是否有可能降低 GANs 生成的奇怪样本的数量。10. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding「BERT：用于语言理解的深度双向 Transformer 模型的预训练」

论文地址

https://arxiv.org/abs/1810.04805

内容概要

谷歌 AI 团队展示了一个新的用于自然语言处理的前沿模型：BERT（Bidirectional Encoder Representations from Transformers，用于 Transformer 模型的双向编码器表征）。它的设计可以让模型同时从左以及从右处理文本内容。虽然概念上说起来很简单，但 BERT 带来了惊人的实际表现，它刷新了 11 项不同的自然语言处理任务的最好成绩，包括问答、命名实体识别以及其他一些和通用语言理解相关的任务。