倪光南：AI发展应吸取教训，核心技术不能靠买靠换( 二 )_（：专访倪光南：人工智能发展应吸取教

人工智能安全超越软硬件问题

在此次大会上，倪光南参与了世界人工智能安全高端对话。在他看来，自主可控是网络安全的关键，必须在质量测评、安全测评的基础上增加自主可控测评。

这一套标准，可能也同样适用于人工智能时代的安全问题，即通过建立一些要素准则，评估人工智能相关产品、服务、技术、系统的安全可控。

“这样有个好处，是在网络安全的基础上再上一个台阶，不是另起炉灶，从零开始。”他说道。

那么，在继承网络安全的基础上，AI时代的安全问题表现出哪些新的特征？倪光南从演化的角度看待这个话题。

传统安全考虑的是人和物之间的关系，网络安全则涉及到人和人之间的攻防关系。“所以我们在网络安全上要强调自主可控，假如你无法自主可控，对方就可以利用漏洞从后门攻击，这是在传统安全上更进了一步。”

进入到人工智能时代，我们还需要面对人和人工智能的关系。AI的安全可控由此也超越了单纯的技术问题。例如，用交互过程训练聊天机器人时，一些机器人会出现“学坏”、“骂人”的情况，甚至变成一个“种族主义者”。

倪光南：AI发展应吸取教训，核心技术不能靠买靠换( 二 )