在2024年8月29日的一条新闻中，人工智能研究公司OpenAI和Anthropic宣布了一项协议，他们同意将开发中的模型送交美国政府的AI安全研究所进行评估，以确保这些模型在公开使用前的安全性。这与英国AI安全研究所的做法类似，即允许开发者在模型发布前进行预测试。
根据协议，两家公司在模型公开发布前后，都会向AI安全研究所提供新模型，以便进行深入的安全研究、测试和评估。AI安全研究所主任Elizabeth Kelly表示，他们期待与OpenAI和Anthropic开展技术合作，共同推进人工智能安全的科学进步，并强调这是负责任地引导AI未来的重要里程碑。
OpenAI首席策略官Jason Kwon表达了对这一合作的支持，认为它有助于定义美国在负责任AI发展方面的领导地位，并希望他们的合作能为全球其他地区提供一个可借鉴的框架。尽管OpenAI曾面临员工关于安全优先级的质疑，但其CEO Sam Altman仍承诺在模型发布前提交给政府机构进行安全测试。
同样，Anthropic也采取了类似的措施，他们在发布Claude 3.5 Sonnet模型之前将其送至英国AI安全研究所。Anthropic的联合创始人兼政策负责人Jack Clark表示，与美国AI安全研究所的合作利用了他们的专业知识，严格测试模型，以降低风险并促进负责任的AI发展。
然而，目前美国AI安全研究所的设立是基于行政命令，而非立法，这意味着它不具备强制性，且可能随着总统更换而改变。尽管如此，自愿提交模型进行安全评估对于推动AI的平安、可靠和可信使用是有益的。尽管这项协议朝着监管模型安全的方向迈进，但业界担忧“安全”这个词过于宽泛，缺乏明确的法规可能会导致混淆。
一些关注AI安全的组织认为这是一个积极的步骤，但执行董事Nicole Gill提醒监管机构需要确保企业履行承诺，因为像OpenAI和Anthropic这样的大公司过去常常做出承诺，但行动寥寥。自愿性的安全承诺只有在公司切实履行时，才能真正推动AI安全进程。