大奖|刚获ICML大奖的机器学习大牛Max Welling加入微软，主攻分子模拟_Max|刚获|Welling|相关研究|

机器之心报道
编辑：杜伟、张倩

量子计算 + 机器学习可以在分子模拟领域碰撞出什么火花？师从诺奖得主的量子物理博士、机器学习大牛 Max Welling 将给出我们答案。

大奖|刚获ICML大奖的机器学习大牛Max Welling加入微软，主攻分子模拟

文章图片

昨天，机器学习顶会 ICML 公布了杰出论文奖、时间检验奖等奖项， Max Welling 等人 2011 年的一篇论文获得时间检验奖，主题是「基于随机梯度 Langevin 动力学的贝叶斯学习」。这一奖项表明， Max Welling 等人的工作对机器学习社区产生了深远的影响。
拿奖的喜悦还未冲散， Max Welling 又公布了一项重要消息：他将于今年 9 月 1 日以杰出科学家的身份加入微软研究院，致力于分子模拟相关研究。
Max Welling 现为阿姆斯特丹大学机器学习研究主席和高通技术副总裁，兼任加拿大高等研究院（CIFAR）高级研究员。此外，他还是阿姆斯特丹大学附属公司 Scyfer B.V.（致力于深度学习研究， 2017 年夏被高通收购）的联合创始人。

文章图片

Max Welling 透露，他此番变动是要去领导微软在阿姆斯特丹新建的一个实验室。在那里，他将组建一支多样化的研究和工程团队，主攻分子模拟问题。
为什么是分子模拟？Max Welling 解释说：

因为世界上除了电磁力、重力和其他一些更奇异的力之外，几乎所有物理的东西都是由分子组成的。然而，由于自然界是符合量子力学的，我们无法在经典计算机上准确地模拟它们。随着机器学习（如等变图神经网络）技术不断取得突破，以及量子计算和经典计算能力的不断提升，我期望我们在下一个十年能够取得非常显著的进展。

随着我们对分子和化学反应理解的加深，这一方向潜在的应用领域也越来越多，如改进对抗疾病的药物，寻找服务于绿色技术的高效催化剂以及开发具有惊人性能的新材料。

可以看出，分子模拟已经成为 Max Welling 的主要研究兴趣所在。
关于新实验室的进展， Max Welling 透露说，目前他们已经招募到了一号员工——来自谷歌 AI 的研究科学家 Rianne van den Berg 。
在入职微软的同时， Max Welling 还将继续担任阿姆斯特丹大学的教授，指导学生和博士后。
Max Welling：一个师从诺奖得主的量子物理学博士
和一般机器学习研究者不同， Max Welling 并不是计算机专业科班出身，而是在世界顶尖公立研究型大学——荷兰乌得勒支大学学了 11 年的物理，而且导师是荷兰理论物理学家、1999 年诺贝尔物理学奖得主 Gerard 't Hooft 。

文章图片

1999 年， Hooft 和他的老师韦尔特曼因 70 年代作出的「阐明物理学中电弱相互作用的量子结构」方面的理论研究成就而获得诺贝尔物理学奖。他们的计算理论使粒子物理有了更牢固的数学基础，尤其是可以用他们的理论来更精确计算物理量。
在 Hooft 的指导下， Max Welling 于 1998 年拿到了量子物理学博士学位。

文章图片

之后， Max Welling 曾先后在加州理工学院（1998-2000）、伦敦大学学院（2000-2001）和多伦多大学（2001-2003）担任博士后研究员。 2003-2013 年，他历任加州大学欧文分校的助理教授、副教授和教授。 2012 年，他开始担任阿姆斯特丹大学的教授和机器学习研究主席。在学术成就方面， Max Welling 的论文被引量达到了 5 万多次， h 指数高达 79 。

文章图片

2016 年， Max Welling 与其在阿姆斯特丹大学指导的博士生 Thomas Kipf（2020 年毕业，现为谷歌大脑研究科学家）共同提出了图神经网络领域的重要成果——图自编码器（GAE），相关论文在NIPS 2016 Workshop上展示。
图自编码器（GAE）可用于图结构数据中的无监督学习和链接预测，它的主要组件是基于图神经网络的编码器和基于成对评分函数重建图链接的解码器。之后，二人又进一步提出了 GAE 的模型变体——变分 GAE（variational GAE）。 GAE 和变分 GAE 非常适合没有节点标签情况下的图表示学习。
论文链接：https://arxiv.org/pdf/1609.02907.pdf
2017 年， Max Welling 加入了高通，担任技术副总裁。任职期间，他参与了量化、无监督学习和量子 AI 等方面的研究。在去年的一篇文章中， Max Welling 介绍了他们在量子 AI 研究领域的一些成果，比如他们开发了量子形变二值神经网络，支持在量子计算机上运行大型经典神经网络，或在经典计算机上进行高效模拟。基于此，高通研究人员将这一经典神经网络变形并集成量子效应，而且该网络仍能高效训练和运行。这也是首个用于真实数据的量子二值神经网络。由此可见， Max Welling 在物理学，尤其是量子物理领域的积累已经帮助他在机器学习领域取得了一些成就。

文章图片

机器学习、量子物理、化学、分子生物学将如何碰撞
对于 Max Welling 加入微软研究院并担任新建阿姆斯特丹实验室的负责人，微软研究院剑桥实验室主任 Chris Bishop 表示了热烈欢迎。和 Max Welling 类似， Chris Bishop 也是一位有着深厚物理学背景的计算机科学家，他在英国爱丁堡大学拿到了理论物理学博士学位，研究方向是量子场论。
在两人的一次访谈中，他们结合共同的物理学背景以及对分子模拟的愿景，探讨了机器学习和量子计算在模拟分子领域的应用前景、机器学习在模拟分子领域提供所需数据的能力、以及阿姆斯特丹实验室第一年和之后的发展愿景。

文章图片

在访谈中， Chris Bishop 认为 Max Welling 所有令人瞩目的研究都与分子模拟直接相关，这是微软研究院剑桥实验室一直以来非常感兴趣的领域，也成为了微软研究院邀请 Max Welling 出任阿姆斯特丹实验室 leader 的初衷。
Max Welling 也表示自己已经努力将研究方向转向分子模拟领域。他更想将之后的职业生涯致力于气候变化，其中计算化学是解决诸多挑战的关键所在。微软这个大平台可以为自己提供大量可用的计算基础设施。
Chris Bishop 对此表示赞同，并认为分子模拟将在解决气候灾难中发挥重要作用。
至于什么是分子模拟，当前分子模拟研究为何如此激动人心、与机器学习又存在哪些关联，两人进行了深入探讨。 Chris Bishop 认为机器学习将像影响计算机视觉、语音识别和自然语言理解那样对分子模拟领域产生重大影响。机器学习、量子物理、化学和分子生物学的结合将在包括但不限于气候变化的众多领域具有巨大的应用前景。
Max Welling 也描述了分子研究的美妙之处，他表示除了光和其他一些无法真正看到的力（force），我们周边的一切都是由分子组成的，但却没能真正地理解它们，也无法真正地预测它们的特性。因此，如果我们开始更好地理解分子，则很多相关应用就变得触手可及。比如，我们可以通过设计更好的催化器来助力氢经济、设计新药等。微软研究院在这个方向的研究上已经做了很多。
Chris Bishop 也列举了微软研究院在药物挖掘领域所做的努力，比如与药物公司展开积极合作、研究机器学习如何影响药物发现过程等等。微软研究院一直在做的很多工作都用到了由实验数据驱动的机器学习，并且致力于从蛋白质分子折叠以及与其他蛋白质相互作用的量子物理学第一原理模拟中创建数据。此外，微软研究院还对药物发现和更广泛的生命科学领域感兴趣，如对 COVID-19 的研究。
Chris Bishop 还提到， Max Welling 最出名的工作是在机器学习中研究不变性（invariances）和等变性（equivariances）。这些又与分子模拟遇到的挑战存在哪些关系呢？
Max Welling 解释说，在物理学中要考虑对称性，几乎所有的物理学理论都是围绕对称性建立的。事实上，整个标准模型都是由粒子组成的，粒子是根据对称变换来组织的。他和同事也想在神经网络中实现这一原则，事实上卷积神经网络在某种程度上已经实现了。
「神经网络大体上有这么个想法，如果你把一只猫从一个地方移到另一个地方（translation），神经网络的输出要么是不变的（ invariant），即猫还是猫；如果你在图像左边或右边看到猫或者对它做图像分割，则分割 mask 应随着猫移动（equivariance）。我们在思考如何扩大这些原理的应用范围，比如将物体旋转，预测结果应该还是不变的（invariant）。颠倒的猫终究还是猫，对吧？这对于分子模拟来说尤其重要，因为如果你旋转一个分子，你仍然会认为它的性质和你在其他方向看到它时的性质是一样的，并且把这个归纳偏置，即先验知识，构建到你的模型中，这就是我们最近一直在做的。我们把它构建成所谓的图神经网络，你可以把原子看作是图中的节点，而原子之间的相互作用是边，这些原子互相发送信息，这和做卷积很相似。所以，在那个图神经网络中，我们让它们在经历旋转后保持某种对称，然后用它描述分子，这是非常成功的。有趣的是，你可以通过数据集来预测这些分子的性质，而这些预测是惊人的准确。现在，整个社区开始意识到这一领域在未来可能产生重大影响。」
两人在对称性将在机器学习领域扮演重要角色这一点上达成了一致。那么，量子计算又会对分子模拟产生哪些影响呢？
Max Welling 认为，分子本质上属于量子系统，特别是电子通过量子力学得到了很好的描述。量子计算机在某种意义上也是一种自然的量子模拟。我们可以将量子计算机看作某种量子实验或者量子模拟。人们认为第一个实际的量子计算应用将出现在模拟量子力学领域。现在，量子计算仍处于初步阶段，真正可用的量子计算有希望在 10 多年后出现。现阶段，我们可以首先使用一些噪声更多的量子设备，利用量子计算来建模分子，其中量子计算与机器学习的协同合作最令人兴奋。
除了探讨机器学习、量子计算与分子建模的技术融合以及发展前景之外，两人还就阿姆斯特丹实验室的一些情况做了分享。
Max Welling 表示阿姆斯特丹是一座适宜居住和工作的城市，人才交流频繁。实验室将招聘优秀的研究人员，组建一支多样化的团队，并与剑桥实验室团队展开合作等。未来几年，他希望可以构建一个预测分子特性的系统，可以生成具有某些特性的分子，以及在巨大的空间中搜索这些分子。
未来 10 年， Max Welling 希望可以解决「理解分子」的问题，并能够即时设计新材料，比如设计新的催化剂来赋能绿色经济。他还希望能够为现在无法治疗的各种疾病设计新药。
参考链接：
https://staff.fnwi.uva.nl/m.welling/
https://scholar.google.com/citations?user=8200InoAAAAJ&hl=zh-CN
【大奖|刚获ICML大奖的机器学习大牛Max Welling加入微软，主攻分子模拟】https://www.microsoft.com/en-us/research/podcast/machine-learning-molecular-simulation-and-the-opportunity-for-societal-good-with-chris-bishop-and-max-welling/?ocid=msr_podcast_cbishopmwelling_tw