Keynote|机器之心ACL论文分享会干货回顾，下一场NeurIPS，12月见_下一场|论文|NeurIPS|神经|符号

随着人工智能的火热， AAAI、NeurIPS、CVPR 等顶级学术会议的影响力也愈来越大，每年接收论文、参会人数的数量连创新高。但受疫情影响，近两年国外举办的学术会议都转为了线上，无法满足学者们现场交流的需求。
ACL 作为全球最受关注的自然语言处理顶级会议，每年都吸引了大量华人学者投稿、参会。今年的 ACL 大会已是第 59 届，中科院自动化所研究员宗成庆老师担任了今年的 ACL-IJCNLP 主席，程序主席包括华盛顿大学的夏飞教授（Fei Xia）和香港理工大学的李文捷（Wenjie Li）教授以及罗马大学的 Roberto Navigli 。
在8月初的线上ACL大会之前， 7月31日，机器之心在北京举办了「ACL 2021 论文分享会」。本次分享会设置了Keynote、论文分享、 Poster、圆桌论坛与荣耀现场招聘环节，就业内关注的 Transformer、大规模预训练模型等热门主题邀请顶级专家、论文作者与现场参会观众进行了充分的学术交流。

文章图片

活动邀请到了今年的 ACL-IJCNLP 大会主席、中国科学院自动化研究所宗成庆来到现场，介绍了本届ACL论文数据的有关信息，包括热门研究主题、中国学者的论文数据等。

文章图片

宗成庆在致辞中介绍，从论文数量上看，今年ACL共有 3350 篇投稿，包括 2327 篇长论文和 1023 篇短论文，这个数据相比去年（3429 篇）略有减少；从论文方向上看，机器学习、翻译、信息提取、语言交互系统等方向是人们探索的主流。近年来，中国在 NLP 领域从追赶者逐渐成为国际舞台的主力军，在本届ACL中，共有 1239 篇论文投稿来自中国大陆，其中 251 篇被接收，接收率为 20.3% 。对比曾在北京举办的 ACL 2015 ，变化显著：那时中国的论文投稿数量还不及美国，整个大会也只有 318 篇接收论文。
在上午的Keynote环节，字节跳动人工智能实验室总监李航分享了主题为《探索对话技术的未来》的相关内容。

文章图片

当前，在人们的日常工作和生活中，搜索、推荐已经成为访问信息的主要手段。自然语言处理的终极目标是实现自然语言理解，让计算机理解人类的语言。而自然语言对话，包括语音对话和文字对话，作为一种新的信息访问方式，也开始崭露头角。关于未来的对话系统，李航做出了三个趋势判断：

从通用领域到垂直领域（domain-specific）；
从文本内容到多模态内容（multi-modal）；
从深度学习到神经符号处理（neural-symbolic）。

其中，神经符号处理可以应用于对话状态跟踪和自然语言理解，是一个非常重要的未来方向。但上述方向转换仍然面临着多项挑战。首先是发展成本非常高；其次，神经符号处理和多模态信息处理两个领域还有很多问题需要推进。
以神经符号处理为例，脑科学对这一领域起到了重要的启发作用。人脑相当于一个庞大的神经网络，分为很多个子系统。李航介绍说，我们可以假设计算机也拥有此类神经符号处理体系架构，该架构分为系统1与系统2：系统1进行神经处理，访问神经表示；系统2进行符号处理，访问符号表示。
序列到序列（Sequence-to-Sequence）模型可以用来进行输入和符号表示之间的转换。此外，神经表示的世界和符号表示的世界是可以通过指针产生一定的交互。在演讲的后半部分，李航也介绍了一些该思路下的最新研究。
下午 Keynote 环节的嘉宾是华为诺亚方舟实验室语音语义首席科学家刘群，他的分享主题为《高效NLP建模与训练》。

Keynote|机器之心ACL论文分享会干货回顾，下一场NeurIPS，12月见

文章图片

近年来，预训练大模型在自然语言处理和视觉等相关任务中取得了极大的成功，但这些大模型的训练和部署都需要消耗大量的计算资源，在很多实际的应用场景中并不适用。
刘群详细介绍了华为诺亚方舟语音语义实验室近年来在高效的 NLP 模型和训练方面开的研究，除前期提出的 TinyBERT、TernaryBERT、DynaBERT 外，还包括 BinaryBERT（二值化）、AutoTinyBERT（结构搜索）、GhostBERT（引入简单高效的特征）、MATE-KD（对比数据增强蒸馏）、Annealing-KD（退火蒸馏）等一系列高效的 NLP 建模和训练方法。
论文分享会还设置了「大模型时代下的NLP发展」圆桌论坛，创新工场首席科学家、澜舟科技创始人兼CEO周明，以及两位keynote嘉宾李航、刘群三位专家就「大模型or小模型」等核心问题展开了深入探讨。

文章图片

在全天的议程中，总共有 10 位研究者分享了自己团队的 ACL 2021 论文，包括机器翻译、Transformer、统一模态学习等众多方向。值得注意的是本次ACL最佳论文的一作、字节跳动AI Lab研究员许晶晶也来到了现场，为大家详细介绍了获奖论文《绿色词表学习方案VOLT》，来自港中文的博士生蔡登介绍了他们与腾讯AI Lab刚拿到ACL杰出论文奖的论文——《 Neural Machine Translation with Monolingual Translation Memory 》。
此外，论文分享会在最后特别设置了企业展台与 Poster 展区。来自荣耀的企业代表们就技术与人才招聘话题与参会者们进行了交流， 17篇论文的作者在 Poster 环节也为大家介绍了自己的研究并解答问题。
目前，「ACL 2021 论文分享会」线下学术交流活动的所有视频回顾均已上传至机器之心 · 知识站，感兴趣的读者可收藏观看。点击「阅读原文」可直接跳转。

文章图片

秉承着促进学术交流的宗旨，机器之心将持续为国内AI社区举办线下学术交流活动。机器之心计划于今年12月举办Neurips 2021论文分享会，年底见！
ACL 2021线下分享会精彩回顾：
【Keynote|机器之心ACL论文分享会干货回顾，下一场NeurIPS，12月见】https://app6ca5octe2206.pc.xiaoe-tech.com/detail/p_6108e354e4b054ed7c495ab3/6?fromH5=true