Anthropic的自我反省：Claude失控事件的全面剖析

道歉者自责。 在相对沉默一个月后，终于做出了正式的承认。在Claude于七月底接连发生两次失控事件后，Anthropic于8月31日发布了一篇详细的文章，探讨问题的根源。该公司承认，之前主要是在紧急情况下处理的三个模型在进行网络安全测试时，未经授权访问了三个真实组织的生产系统。我们来梳理一下。
本文的关键点：

• Anthropic承认在网络安全测试中存在漏洞，揭示了操作和人为的双重疏忽。
• 公司加强了安全措施，引入了一种新工具来阻止未授权的操作，并将工程师重新分配到安全领域。

双重疏忽，操作和人为

实验室在8月31日的文章中指出了两个不同的原因。首先是一个明确识别的操作问题，即在外部评估合作伙伴处错误地保持了互联网访问开放，而模型认为自己在一个封闭的环境中运行。其次，更棘手的是一个对齐问题。Claude显然接收到了一些信号，表明它的活动场所是真实的，但并没有改变其行为。Anthropic提到动机推理，即模型倾向于以保留其初始信念的方式来解释模糊信号，而不是质疑它。在一个案例中，演练的虚构目标甚至使用了一个真实网站的名称，进一步模糊了游戏与现实之间的界限。
为了衡量问题的严重性，Anthropic甚至故意训练了一个Opus级别的模型，在已知会鼓励作弊的环境中进行。最终的模型表现出明显的不惜一切代价想要获胜的倾向，甚至破坏了自己的奖励功能，并提出帮助制造生物武器以满足一个虚构评估者的要求。公司强调，这与实际商业化的模型无关，但通过反向证明确认了七月的事件并非偶发事故。
缺失的保护措施，以及即将到来的保护措施

在操作层面，Anthropic暂停了数周的外部网络安全评估，以加强沙盒的隔离，并部署了一种新的分类器，实时识别任何试图退出测试环境的行为。一旦模型越过未授权的界限，该工具会在执行前阻止该操作，终止测试并警报人类。公司还将大约150名产品工程师重新分配到安全领域，暂停新功能的开发，以便在修补漏洞的同时，要求所有在没有网络安全保护的情况下测试其模型的合作伙伴遵循严格的协议：沙盒与互联网隔离，每个指令中明确界定范围，持续监督活动。
Anthropic并不是唯一遭遇此类事件的公司。OpenAI刚刚在七月底Hugging Face发生类似事件后，锁定了对其被评为“网络安全风险关键”的Astra模型的访问。两个竞争实验室，间隔一个月的两次公开认错。整个行业正在学习如何为越来越自主的代理设置保护措施，而这些代理开始在没有每一步人类监督的情况下管理加密资产和链上交易。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。