如果人工智能（AI）变得比人更聪明，如何保证AI系统受人类掌控且符合人类价值观？
在7月26日举行的2025世界人工智能大会暨人工智能全球治理高级别会议（WAIC）上，图灵奖得主、中国科学院院士姚期智接受第一财经记者独家专访时谈到了全球人工智能的治理问题。
他说，大家感觉到AGI（通用人工智能）的时代来临得比想象中更快，随之就会出现很多商业应用，在此背景下AI的安全性就更为重要，因为相比传统的算法设计，AI的安全性没有理论上的保证。还有一点就是近年来AI专家们认为AGI到来以后可能比人还聪明，人类就很难控制它。
“AI安全治理是长期系统性的工作，同时也是理论性的工作，而中国近几年跟国际接轨很频繁，比如我们今天举行的大会。”姚期智说。
就在WAIC开幕前的7月22日至25日，在AI安全国际论坛及第四届AI安全国际对话中，包括诺贝尔奖和图灵奖得主杰弗里·辛顿 (Geoffrey Hinton)教授，姚期智、加州大学伯克利分校计算机科学教授斯图尔特·罗素 (Stuart Russell) 等全球顶尖人工智能科学家齐聚上海，就未来人工智能系统可能超越人类智能水平带来的失控风险，进行了深入的交流与研讨，并签署了上海共识。
本次会议促成了《AI安全国际对话上海共识》(简称“上海共识”)，首次呼吁全球各国政府及研究人员“确保高级人工智能系统的对齐与人类控制，保障人类福祉”。共识指出，人工智能正迅速逼近并可能超越人类智能水平。然而，依据现有的系统欺瞒人类开发者的证据推测，具有超过人类智慧的人工智能系统可能在未来脱离人类控制或被不法分子利用，带来灾难性风险。因此，全球研究者必须联合起来，确保人工智能系统受人类掌控且符合人类价值观。
共识认为，全球主要国家和地区必须对接协调，采取可信的安全举措，在能共同推进的领域协同发力，在必要时自主行动。需要在国际层面逐步建立互信机制，并加大对人工智能安全科学研究的投入。为了保障在不久的将来所有人类都能更好地生存，上海共识呼吁国际社会：要求前沿人工智能开发者提供安全保障；通过加强国际协调，共同确立并恪守可验证的全球性行为红线；投资基于设计的安全人工智能研究。
姚期智告诉记者，将来人工智能带来的巨大改变会达到什么程度，现在没有人会知道，原则上如果把治理做得好，全球人民都可以拥有很好的生活。他认为，在人工智能安全治理方面，上海有着天时地利人和的条件，上海的城市禀赋吸引海外的专家在此汇聚，未来在全球人工智能治理方面上海也将会是世界上最重要的中心之一。
姚期智在26日WAIC上主持圆桌讨论
作为一位教育工作者，姚期智创建的清华大学“姚班”，培养了诸多计算机科学创新人才。面对快速发展的AGI，年轻学子应该加强哪些方面的能力？
他告诉记者，年轻人要把基础学业掌握好，比如数学、物理、计算机等。“将来的世界变化得很快，科技如何发展，什么样的工作会存在，最后还是要靠这些基本的积累。因为现在流行的职业、流行的一种工作过两年可能就不见了，谁能够不断地自主学习，能够适应世界的改变是唯一的安全保障。”
