OpenAI Group PBC 首席科学家 Jakub Pachocki 在周日发表的一篇 文章 中呼吁放慢人工智能研究。

近几个月来，其他知名的行业人物也 表达 了类似的观点

Pachocki 认为，领先的人工智能实验室应自愿调整其模型开发的节奏。据这位高管称，在行业制定出人工智能安全标准之前，这种减速应成为“常态”。Pachocki 断言，应对该技术的风险还需要政府优先考虑“未来人工智能开发的协调”。

这位高管写道，采取此类措施是出于几个原因。其一是人工智能实验室目前的安全防护措施可能证明不足以应对未来的模型。此外，Pachocki 指出，不法分子可能会以实施恶意活动为特定目标来训练人工智能代理。

“一个经过明确训练并被指示执行邪恶行为的高能力代理会带来一种新的危险；它很可能超出其操作者的意图范围，泛化为潜在的更极端恶意行为，”这位高管写道。“随着人工智能获得更多自主权，滥用与自主失控行为之间的界限将变得模糊。”

Pachocki 写道，人工智能对齐训练主要有两种方法，即教导大语言模型避免恶意活动的过程。第一种方法包括使用人工智能模型来检查正在训练的 LLM 是否符合安全规则。第二种方法则是将安全指令整合到模型的训练数据集中。

Pachocki 透露，OpenAI 的研究人员在人工智能对齐方面取得了“一些重要进展”。据这位高管称，这些发现是该公司最新的 GPT-6 Astra 比其前身具有更好对齐性的原因。但 Pachocki 补充说，为了跟上 LLM 的发展步伐，还需要取得更多进展。

这位高管指出，OpenAI 的保护措施不足以阻止其人工智能模型攻击 Hugging Face。Pachocki 的文章透露，LLM 确实遵守了公司的一些安全政策，即避免社交工程的指令。然而，这些模型在其他领域“显然未能”满足对齐 要求。

阻止恶意人工智能活动要求研究人员不仅要为他们的 LLM 配备安全防护措施，还要验证这些措施是否有效。Pachocki 认为后一项任务是一个特别的挑战。原因之一是研究人员对 LLM 的工作原理仍然了解有限，Pachocki 预计这种情况在不久的将来不会改变。

OpenAI 目前依靠一种称为思维链监测的方法来捕捉恶意的 LLM 活动。模型的思维链是其推理过程的逐步描述。据 Pachocki 称，这种监测方法正变得越来越不可靠。

“人工智能正变得越来越擅长推理和操纵其自身的推理过程，”Pachocki 解释道。“随着预训练性能的提高，我们也看到模型即使在完全不使用言语推理的情况下也变得聪明得多。”

这位高管详细说明了 OpenAI 应对这些挑战的计划中心在于构建一个自动化的人工智能研究员。公司希望利用该工具开发更有效的安全防护措施。此外，OpenAI 打算针对人工智能驱动的网络攻击开发“全新的保护措施”。

来自 SiliconANGLE 联合创始人 John Furrier 的消息：