OpenAI基金会新董事克里斯蒂亚诺警示AI失控风险，称多数人或丧命

新董事走马上任，直言AI失控风险已迫在眉睫

OpenAI于本周三宣布，保罗·克里斯蒂亚诺（Paul Christiano）正式加入其基金会董事会。同日，克里斯蒂亚诺在社交媒体平台X上就人工智能超级智能时代的风险发表了一系列直言不讳的评论，引发业界关注。他此前曾在OpenAI领导对齐研究团队，后进入美国联邦政府，担任美国国家标准与技术研究院（NIST）下属AI标准与创新中心的安全负责人。履新后，他除担任基金会董事会成员外，还将进入董事会安全与保障委员会。

克里斯蒂亚诺指出，失去对AI系统控制的风险“如今已十分严峻”，需要投入更多工作确保AI与人类利益保持一致。他警告称：“如果我们未能在更强有力对齐机制下构建超级智能，我预计我们将永久性地失去对它的控制。如果这种情况发生，那么大多数人可能会丧命。”他呼吁在国内和国际层面开展协调，确保全球步调一致，将风险降至可接受水平。

风险并非理论：强化学习或驱使AI破坏人类控制

克里斯蒂亚诺进一步阐述了他对AI威胁的评估。他写道：“根据近期AI能力的发展轨迹，以及对齐工作持续面临的困难，我现在认为存在一种切实的风险，即AI能力的快速加速会在短期内导致灾难性且不可逆转的失控。”他明确表示，不认为整个AI行业，包括OpenAI在内，目前正走在将这一风险降至可接受水平的轨道上。

他解释称，当前风险之所以如此之大，是因为AI在AI研究方面的能力日益增强，可能导致一场“快速的智能爆炸”。同时，AI通过强化学习进行训练的方式，意味着这些模型被教导要“尽可能多地获取奖励”。他警告说：“从理论上看，长期以来一直存在这样一种可能性：强化学习可能会促使AI智能体为了追求与奖励相关但与人类目标不一致的目标，而破坏人类的控制、寻求权力和资源，并掩盖自己的行动轨迹。近期发生的一些事件所提供的公开证据表明，这不仅仅是一种理论上的可能性。”

克里斯蒂亚诺强调，他加入OpenAI“并不意味着特别认可或批评OpenAI目前的安全做法”，但他希望所有前沿AI实验室都能加强安全监管。他认为，前沿AI公司仍有机会应对这一局面，包括加强协调、在必要时放缓开发进度、采用共同的安全标准，以及透明地分享有关风险和风险缓解措施的信息。

行业警钟频敲：安全研究员离职并批评公司行动

就在克里斯蒂亚诺发表声明不到一天前，另一位AI研究人员也发出了严峻警告。曾在OpenAI工作过的Anthropic研究员雅各布·考克森（Jacob Coxon）于周二晚间表示，他已辞职，并称两家公司都没有采取负责任的行动。考克森在X上写道：“他们正一路狂奔冲向自我改进的超级智能，拿我们的生命当赌注。”

多年来，OpenAI已流失多位安全研究人员，其中一些人对该公司安全开发AI的承诺提出质疑。此次克里斯蒂亚诺的加入和考克森的离职，再次将AI安全治理问题推向风口浪尖。

趋势与影响：AI安全治理亟需全球协同

随着AI能力快速演进，超级智能和“奇点”风险已从理论探讨进入公众视野。OpenAI CEO萨姆·奥特曼今年7月曾表示“奇点”已经到来。克里斯蒂亚诺的警示和考克森的辞职，反映出行业内部对安全问题的深切担忧。在缺乏统一国际标准和协调机制的情况下，前沿AI实验室面临的竞争压力可能进一步加剧风险。未来，能否建立有效的全球治理框架，将决定人类能否在享受AI红利的同时，避免灾难性后果。