OpenAI成立AI安全“特种部队”：前沿风险和准备

​

OpenAI与其他领先的 AI 实验室一道，做出了一系列自愿承诺，以促进 AI 的安全、保障和信任。这些承诺涵盖了多个风险领域，其中心内容包括是 UK AI Safety Summit关注的前沿风险。

1）OpenAI 的准备方针 

他们相信，前沿 AI 模型将超越现有最先进模型的能力，有潜力造福全人类。但它们也带来了日益严重的风险。要管理来自前沿 AI 的灾难性风险，就需要回答如下问题：

当前和未来，将前沿 AI 系统用于不当目的有多危险？ 我们如何构建一个健壮的框架，以监控、评估、预测和防范前沿 AI 系统的危险能力？ 如果他们的前沿AI 模型权重被盗，恶意行为者可能如何利用它们？

我们需要确保我们拥有高性能人工智能系统安全所需的理解和基础设施，以保障高能力 AI 系统的安全。

2）OpenAI 成立安全“特种部队”

为了在 AI 模型不断进步的同时降低这些风险，他们正在组建一个名为“准备”的新团队。在 Aleksander Madry 的领导下，“准备”团队将紧密连接前沿模型的能力评估、评价和内部红队测试，从他们在不久的将来开发的模型，到具有 AGI 级别能力的模型。该团队将协助跟踪、评估、预测和防范多个类别的灾难性风险，包括：

“准备”团队的使命还包括制定和维护风险通知开发政策（RDP）。他们的 RDP 将详细介绍如何进行严格的前沿模型能力评估和监控，创建保护行动的范围，以及在开发过程中建立责任和监督的治理结构。RDP 旨在补充和扩展他们现有的风险缓解工作，以促进新的、高能力系统在部署前后的安全与对齐。

3）准备挑战 

为了识别不太明显的安全关注领域（并组建团队！），他们还将推出针对灾难性滥用预防的 AI 准备挑战。他们将为最多 10 个顶级提交提供 25,000 美元的 API 积分，发布新颖的想法和参赛作品，并在本次挑战的顶尖竞争者中寻找AI安全特种部队“准备”的候选人。

​Read More