【AIIG观察第212期】卡内基国际和平基金会：警惕对超级人工智能的炒作

点击蓝字

关注我们

海外智库洞察

卡内基国际和平基金会

Carnegie Endowment for International Peace

2023年9月14日，卡内基国际和平基金会（Carnegie Endowment for International Peace）发布其研究员Matt O’Shaughnessy撰写的文章《对超级人工智能的炒作如何将政策引向歧途（How Hype Over AI Superintelligence Could Lead Policy Astray）》。文章指出，硅谷长期以来都相信人工智能（Artificial Intelligence，AI）的进步将很快创造出一种科幻式的超越人类能力的“超级智能（Superintelligence）”。近年来，关于超级智能的讨论也开始影响政策行动。英国即将举行的全球人工智能峰会尤其关注与超级智能紧密联系的安全议题。对此，作者认为政策制定者应该更多关注人工智能带来的进化问题，来避免将资源从更确定的人工智能挑战、有风险的政策建议上转移。

首先，作者指出，目前存在诸多关于超级智能的假设，且领导者们似乎没有完全意识到，超级智能的未来存在和理论仅依赖于一些值得质疑的假设。第一，目前对于超级智能的紧迫感在很大程度上来自于对机器学习最新趋势的推断，即其增加的数据和计算能力已经带来了令人印象深刻的人工智能系统。但是纵观机器学习的历史，昙花一现的趋势比比皆是，没有证据表示这一趋势会永远持续下去。最近，OpenAI的首席执行官山姆·阿尔特曼（Sam Altman）提出，该公司下一代AI模型的培训可能要“一段时间”后才能开始，这表明至少在数据和计算所带来的改进能够继续快速发展之前，AI模型还需要新的技术突破。企业不断通过与全球最大的云计算平台达成交易来获取计算能力，甚至改变了他们的商业模式，以便能够投入数亿美元用于模型训练。但这些不断增加的成本将难以维持，尤其是当对生成式人工智能的投资热情消退后。此外，AI的现代范式，即复制在海量数据中找到的统计关系，仍然存在根本性缺陷。今天的AI系统以其令人难以置信的能力使它们看起来与人类十分相似，但其编造基本事实，缺乏应对陌生事件的能力，甚至针对简单提示也能提供出不可靠的的答案。事实上，我们对是什么促成了独特的人类智慧产生疑惑。例如，尽管生成式人工智能系统在创造性任务上表现出色，但对自动驾驶车辆的大规模投资尚未产生回报，而人类的情商和领导能力等素质将更难复制。

随后，作者指出，无论AI是否达到超级智能的水平，其发展都将带来颠覆性的影响。例如，现今的AI变得更容易产生虚假信息，加剧不平等。但深入研究后可以发现，人类仍然扮演着核心角色，AI则只是一种促进者。例如，最近备受炒作的、据说由AI做出的科学发现，实际上不是由机器自主完成的，而是因为科学家们凭借其聪明才智将长期存在的问题重新塑造成了可以利用AI推动的形式，才得以完成的。毫无疑问，最近的AI进步似乎有望通过提高草拟文本、查找信息或分析数据等任务的效率来提高生产力。此前的数字技术进步，如文字处理、搜索引擎和社交媒体，也是如此。但不论是数字技术进步还是最近的人工智能进步，最终还是由人类来协调的。由此也可以推断出，人工智能技术进步所带来的新挑战与已存在的数字化进程中的挑战也类似。例如，蕴含在大型语言模型中的、新产生的价值观问题，与社交媒体内容选择算法的政治性问题如出一辙。当然，日益复杂和不透明的算法也带来了新的变化。例如，它们更难以识别和纠正错误和偏见。但潜在的政策挑战，如隐私、公平性以及使用数学和数据等问题对公民权利的影响已经酝酿了几十年，甚至更长时间。

最后，作者表示，为避免政策过度关注超级智能的陷阱，政策制定者需要问自己三个关键问题。首先，对超级智能的担忧是否让有限的资源从现实且长期存在的AI政策挑战中分散出去？政策制定者理论上可以同时处理渐进性的AI风险和假设的超级智能风险，但实际上，资源和政治支持都是有限的，经常需要进行优先排序。其次，尚不清楚的超级智能担忧是否被用来为代价高昂的政策选项提供正当理由？例如，美国针对中国获取半导体等AI相关技术的限制决策，需要高度权衡削弱中国技术实力和引发大国冲突风险之间的利弊。然而，如果决策过程中过于相信假设的超级智能即将到来，可能会偏向支持更极端的政策选项，其好处可能不足以弥补其严重的后果。第三，对超级智能的担忧是否排除了重要的观点和声音，使其无法参与AI政策辩论？超级智能的紧迫性将AI定位为国家安全问题，但这可能导致政策决策转移到不太容易接触的场合，从而排除了关注社会和经济影响等AI进化挑战的最强烈支持者。这些场合通常不包括具有丰富AI民权影响方面专业知识和倡导能力的民间社会组织。总之，不应过度聚焦于假设的超级智能问题，而忽视了更迫切和具体的AI政策挑战。未来也许会有证据表明超级智能不仅仅是科幻小说，但在此之前，政策领导人应该确保无论AI如何发展，都不能因为硅谷的最新炒作，而对仍然紧迫和重要的政策问题造成附带损害。

Matt O’Shaughnessy：卡内基国际和平基金会技术与国际事务项目访问学者，专注于研究地缘政治和全球技术治理。

原文链接：https://carnegieendowment.org/2023/09/14/how-hype-over-ai-superintelligence-could-lead-policy-astray-pub-90564

清华大学人工智能国际治理研究院编

上述信息均根据原文内容整理，谨供读者参考

不代表本机构立场和观点

往期回顾

海外智库丨人工智能国际治理观察第210期

海外智库丨人工智能国际治理观察第209期

海外智库丨人工智能国际治理观察第206期

关于我们

清华大学人工智能国际治理研究院（Institute for AI International Governance, Tsinghua University，THU I-AIIG）是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势，研究院面向人工智能国际治理重大理论问题及政策需求开展研究，致力于提升清华在该领域的全球学术影响力和政策引领作用，为中国积极参与人工智能国际治理提供智力支撑。

新浪微博：@清华大学人工智能国际治理研究院

微信视频号：THU-AIIG

Bilibili：清华大学AIIG

文章检索:周韫斐

编译:边洁、杨雨虹

审核:何嘉钰

排版: 赵杨博

终审:梁正、鲁俊群