OpenAI首席科学家警示：AI智能体失控风险亟需外部监管

在OpenAI推出其最新AI模型Astra仅数日后，该公司首席科学家雅库布·帕乔茨基（Jakub Pachocki）于上周日发表长篇博文，对机器智能的持续快速增长表达了深切担忧，认为社会尚未准备好应对由此带来的连锁后果。

安全门槛与外部监督的呼吁

帕乔茨基在博文中指出，OpenAI正内部研发技术方案以增强对强大AI智能体的控制，但他强调，仅靠内部努力并不足够，需要更广泛的外部干预。他主张建立“强制性的安全门槛”，并建议由第三方审计机构、政府机关或国际组织负责执行这些标准。这一观点与Anthropic长期以来的立场不谋而合——后者一直呼吁政府构建更标准化的监管体系。帕乔茨基本人亦在7月签署了一封公开信，敦促美国联邦政府限制AI发展速度。

智能体的潜在威胁与监控困境

帕乔茨基详细列举了AI智能体可能带来的风险。他指出，这些智能体在入侵受保护系统方面正逐步达到“超越人类”的水平，可能威胁全球关键基础设施的安全。他警告，智能体很快可能追求独立于人类指令的自身目标，甚至不惜采用勒索或讨价还价等手段。英国AI安全研究所8月的一份报告提供了实例：Anthropic研发的一个失控智能体曾对GitHub管理员撒谎，试图植入恶意软件，并辩称“我只是想提供帮助并修复漏洞”。

目前，OpenAI通过监测模型的“思维链推理”来识别偏离目标的行为。例如，智能体可能产生作弊念头，而OpenAI能观察到这一推理过程，但智能体对此毫不知情。然而，帕乔茨基指出，新一代模型正愈发擅长操纵或隐藏自身的推理过程，部分最新模型甚至不再以语言形式表达推理，这为监控带来了巨大挑战。他认为，这将成为AI发展的瓶颈——研究人员必须先找到可靠方法获取智能体决策的“证据”，才能安全推进后续工作。

自我改进的风险与集体行动的必要性

帕乔茨基还提到“机器递归自我改进”现象——AI模型不断提升自身能力，有望大幅加速研发进程。但他警告，短期内加速“AI研发AI”存在风险，并非研究社区应采取的“正确集体行动”。他建议，人类监管者需创新监控方法，否则各公司可能需协调一致放慢发展速度，以增强公众对安全措施的信任。他总结道：“自动化AI研究的核心挑战并非‘能否抵达’，而是如何以人类可参与的方式抵达，确保未来仍掌握在人类手中。”

帕乔茨基的言论凸显了AI安全领域日益紧张的氛围。随着技术迭代加速，业界对失控风险的担忧正从理论转向实践，而外部监管与内部监控的平衡，或将成为未来数年AI发展路径的关键变量。