倡议书：关于暂停「巨型 AI」 实验的一封公开信

​

本文是futureoflife公开信

原文地址https://futureoflife.org/open-letter/pause-giant-ai-experiments/ 

目前已经有1128 AI学者参与签署

以下为正文：

本文提出呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，而且至少要暂停6个月。

正如广泛的研究和顶级人工智能实验室所承认的那样，具有人类竞争智能的人工智能系统可能对社会和人类构成深刻的风险。正如被广泛认可的Asilomar人工智能原则所指出的那样，高级人工智能可能代表着地球上生命历史的深刻变化，应该以相应的谨慎和资源进行规划和管理。不幸的是，这种水平的规划和管理并没有发生，尽管最近几个月看到人工智能实验室被锁定在一场失控的竞赛中，开发和部署越来越强大的数字头脑，没有人（甚至他们的创造者）能够理解、预测或可靠地控制。

当代人工智能系统现在在一般任务上变得与人类有竞争力，我们必须问自己： 我们应该让机器在我们的信息渠道中充斥着宣传和不真实吗？我们是否应该把所有的工作都自动化，包括那些有成就感的工作？我们是否应该开发非人类的大脑，使其最终超过我们的数量，胜过我们的智慧，淘汰我们并取代我们？我们是否应该冒着失去对我们文明的控制的风险？这样的决定绝不能委托给未经选举的技术领袖。只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。这种信心必须有充分的理由，并随着系统的潜在影响的大小而增加。OpenAI最近关于人工通用智能的声明，指出 「在某些时候，在开始训练未来的系统之前，可能必须得到独立的审查，对于最先进的努力，同意限制用于创建新模型的计算的增长速度」。

因此，我们呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，至少要暂停6个月。这种暂停应该是公开的、可核查的，并包括所有关键行为者。如果这种暂停不能迅速颁布，政府应该介入并制定一个暂停令。

人工智能实验室和独立专家应利用这一暂停，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审计和监督。这些协议应确保遵守这些协议的系统是安全的，没有合理的怀疑。 这并不意味着暂停人工智能的总体发展，只是从危险的竞赛中退后一步，以越来越大的不可预测的黑箱模型为基础，具有突发性的能力。

人工智能的研究和开发应该重新聚焦于使今天强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些至少应该包括：专门针对人工智能的新的和有能力的监管机构；对高能力的人工智能系统和大型计算能力池的监督和跟踪；帮助区分真实和合成并跟踪模型泄漏的来源和水印系统；强大的审计和认证生态系统；对人工智能造成的伤害的责任；对人工智能安全技术研究的强大公共资金；以及资源丰富的机构，以应对人工智能将导致的巨大的经济和政治破坏（特别是对民主）。

人类可以通过人工智能享受一个繁荣的未来。在成功创造出强大的人工智能系统之后，我们现在可以享受一个 「人工智能之夏」，在这个夏天，我们收获了回报，为所有人的明显利益设计这些系统，并给社会一个适应的机会。社会已经暂停了对社会有潜在灾难性影响的其他技术。我们在这里也可以这样做。让我们享受一个漫长的人工智能之夏，而不是在毫无准备的情况下冲进秋天。

部分签署人截图

​Read More