《科学》发文！25位顶尖科学家呼吁：在AI快速发展中需管控极端风险

面对可能迅速发展的人工智能，全球的风险应对能力似乎并未步入正轨。在韩国首尔举行的第二届人工智能安全峰会（5月21日至22日）开展之际，25位世界领先的人工智能科学家在《科学》杂志上共同发表了一篇专家共识论文，他们认为，当今全球在保护人类免受技术滋生的风险方面做得还不够。

在论文中，他们概述了全球领导人应该采取的紧急政策优先事项，以应对人工智能技术的威胁。

重要建议

该论文的合著者包括Geoffrey Hinton, Andrew Yao, Dawn Song，Daniel Kahneman等25位世界领先的人工智能及其治理学术专家。这些作者来自美国、中国、欧盟、英国和其他人工智能大国，其中还包括图灵奖得主、诺贝尔奖获得者和标准人工智能教科书的作者。这些科学家指出，世界各国领导人必须认真对待在当前十年或未来十年开发出强大的通用人工智能（AGI）系统的可能性，这种系统有可能在许多关键领域的表现都超越了人类。他们还称，尽管世界各国政府一直在讨论前沿人工智能，并在引入初步指导方针方面做出了一些尝试，但这与许多专家预期的快速、变革性进展的可能性根本不相称。

该论文的合著者、牛津大学工程科学系的Philip Torr教授称，“在上次人工智能峰会上，全世界都赞成需要采取行动，但现在是时候从模糊的建议变成具体的承诺了。”

这篇论文为公司和政府应该承诺做什么提供了一些重要建议，包括：

建立能迅速对风险作出反应的专家机构来监督人工智能，并为这些机构提供更多的资金。

要求更严格的风险评估，并具有可执行的结果，而不是依赖于自愿的或未明确的模型评估。

要求人工智能公司优先考虑安全，并证明他们的系统不会造成伤害，人工智能开发人员应考虑安全性。

实施与人工智能系统构成的风险水平相符的风险缓释标准。应设置适当的策略，当人工智能达到某些能力里程碑时自动触发严格的要求；但如果人工智能进展缓慢，要求会相应放宽。

值得一提的是，当地时间周二（5月21日）在首尔人工智能峰会上，微软、亚马逊、OpenAI等科技巨头就人工智能安全达成了一项具有里程碑意义的国际协议。

这项协议下，许多企业做出承诺，包括发布安全框架，列出衡量潜在风险；一旦发现了这种极端情况，如果不能保证降低风险，企业们就需要打开“紧急停止开关”，叫停AI模型的开发进程。

政府监管带头

根据作者的说法，对于未来异常强大的人工智能系统，政府必须准备好在监管方面发挥带头作用。这包括：许可这些系统的开发，限制其在关键社会角色中的自主权，停止其开发和部署以应对令人担忧的功能，强制访问控制，以及要求对国家级黑客采取强有力的信息安全措施。

加州大学伯克利分校计算机科学教授、世界标准人工智能教科书的作者斯图尔特·罗素Stuart Russell OBE表示，“这是一份由顶尖专家达成共识的论文，它呼吁政府严格监管，而不是由行业制定自愿的行为准则。”

他补充道，“是时候认真对待先进的人工智能系统了。这些不是玩具。如果说‘监管扼杀了创新’，那太荒唐了，因为对那些普通三明治店的监管甚至比对人工智能公司的监管还多。”