2天9场圆桌会，英国AI安全峰会读这篇就够了【英国AI峰会观察】

【全球AI战略洞察】栏目由清华大学人工智能国际治理研究院推出，旨在通过对当前人工智能领域发生的重要信息进行“标注、提炼、解读”，剖析全球AI治理各国家间不同的战略图景，以此描绘人工智能治理领域的国际格局。

栏目主理人：刘典

复旦大学中国研究院副研究员、清华大学人工智能国际治理研究院战略与宏观研究项目主任

前言

2023年11月1日至11月2日，首届全球人工智能安全峰会于英国布莱切利园（Bletchley Park）召开。两天的圆桌会议分别有哪些议程、哪些要点？本文将为您梳理。会议所达成的一些共识随后被纳入28个国家联署的《布莱切利宣言》，并且与中方所提出的《全球人工智能治理倡议》以及各方关切均有诸多重合。

01
11月1日圆桌会议总结以下是人工智能安全峰会11月1日圆桌会议主席总结：

圆桌会议1：前沿人工智能滥用给全球安全带来的风险

讨论近期和下一代前沿AI模型带来的安全风险，包括生物安全和网络安全风险。主席：François-Philippe Champagne，加拿大政府创新、科学与工业部长。（1）不法分子更易利用最新的前沿AI系统（如GPT4等）实施攻击，包括网络攻击、设计生物或化学武器。（2）前沿AI系统的能力和准确性或将日益提高，导致被不法分子利用的风险提高。（3）前沿AI公司已开始为其模型设置保障措施，但这需要政府的辅助。政府、业界及专家们需要共同努力，尤其是在模型测试方面。（4）前沿AI系统对公众构成了巨大的的风险。当务之急是，既要继续AI研究，又要找到合适的方法，以确保当下、将来的模型都不会使不法分子对公众造成伤害。（5）我们对这些AI模型的工作原理、带来的风险以及如何制定适当的保障措施的了解尚处于初级阶段。现在需要立即采取全球性行动，知悉并应对AI风险。前沿AI公司、政府、学界和社会研究人员须就此尽快开展合作。圆桌会议1与中方倡议及宣言的对应之处：

中方《全球人工智能治理倡议》指出，发展人工智能应坚持“以人为本”理念，以增进人类共同福祉为目标，确保人工智能始终朝着有利于人类文明进步的方向发展。

《布莱切利宣言》申明，为了所有人的利益，AI应该以安全、以人为本、可信赖和负责任的方式设计、开发、部署和使用。

圆桌会议2：前沿AI发展的不可预测性带来的风险

讨论随着模型的快速扩展，前沿AI未来不可预测的“飞跃”所带来的风险、新兴预测方法以及对未来AI发展（包括开源）的影响。主席：曾毅，中国科学院研究员（1）前沿AI系统目前的能力远远超出了几年前的预测。（2）随着投入的增加，未来AI系统的能力可能仍会出乎人们意料，而开发者不一定想要或能够预测其能力。（3）这些AI模型还能与其他系统连接并增强其功能。模型与系统组合可能之多意味着在AI产品发布前很难预测潜在的结果。（4）先进的AI能力有可能解决卫生、教育、环境、科学和其他领域目前尚未解决的挑战。但是，AI系统在带来这些好处的同时，也可能带来巨大的风险。（5）新的AI前沿模型必须在安全条件下进行严格的开发和测试。不能因为有望带来潜在效益，就跳过安全测试或者匆忙进行其他评估。（6）尽管开源模型具有一定优点，如提高透明度和促进研究，但一旦发布具有危险性的开源模型，就无法撤回。这一点值得特别关注，因为开源模型有可能导致AI的滥用。因此，我们需要进行公开讨论，以平衡风险和优点。（7）共享评估工具是件好事，但这并不意味着没有风险，我们需要持续关注新兴风险。圆桌会议2与中方倡议及宣言的对应之处：

中方《全球人工智能治理倡议》：推动建立风险等级测试评估体系，实施敏捷治理，分类分级管理，快速有效响应。研发主体不断提高人工智能可解释性和可预测性，提升数据真实性和准确性，确保人工智能始终处于人类控制之下，打造可审核、可监督、可追溯、可信赖的人工智能技术。

《布莱切利宣言》：“鉴于AI的快速和不确定的变化速度，以及在技术投资加速的背景下，我们申明，加深对这些潜在风险的理解，以及加深对应对这些风险的行动的理解，尤为紧迫。”

圆桌会议3：前沿人工智能失控的风险

讨论未来先进的AI摆脱人类控制和监督的风险，以及监测和预防该情况的工具。主席：Josephine Teo，新加坡政府通讯及新闻部长（1）当前的AI系统相对容易控制，它们需要人类的提示，不太能够为实现目标做长期规划，在现实世界中采取行动的能力也十分有限。然而，未来的模型可能会在这些方面有所改进，从而产生重大影响。（2）即使AI系统看起来有很强的认知能力，我们也不能确定它们会像人类一样行事或做出与人类相同的决策。例如，未来的AI系统可能会在没有足够监督的情况下，考虑一些其开发者没有预测或本不打算采取的行动。（3）目前的模型并不构成人类生存威胁，但尚不清楚未来是否会开发出能基本避开人类监督和控制的AI系统。目前还没有足够的证据来排除未来的前沿AI可能因不按人类期望行事、滥用或控制不当等原因而对人类的生存构成威胁。AI研究人员正在积极讨论这一问题。（4）在短期内应采取更具实质性的行动来降低这一风险。这可能包括对前沿AI开发的某些方面加强限制，甚至暂停部分开发，以便在继续了解安全性的同时享受AI的现有益处。（5）政府可以引入新的激励措施支持上述行动，也应有效执行措施，以阻止不法行为。（6）现在就可以采取具体行动来防止这些情况的发生。有些决策不应该交给AI系统，因此作为一个社会，我们要努力避免过度依赖AI系统，还需要在安全的环境中严格测试模型，并进一步了解失控可能发生的途径。圆桌会议3与中方倡议及宣言的对应之处：

中方《全球人工智能治理倡议》第五、六条指出，推动建立风险等级测试评估体系，研发主体不断提高人工智能可解释性和可预测性，逐步建立健全法律和规章制度。

《布莱切利宣言》第七段强调，开发前沿人工智能能力的参与者对确保这些人工智能系统的安全负有特别重大的责任，包括通过安全测试系统、通过评估以及通过其他适当措施。

圆桌会议4：前沿AI融入社会的风险

讨论前沿AI融入社会所带来的风险，包括对犯罪和网络安全的影响、破坏选举以及加剧全球不平等，讨论将包括各国为应对这些风险已经采取的措施。。主席：Marietje Schaake，斯坦福大学网络政策研究所（1）已知的前沿AI会带来社会风险，对民主、人权、公民权利、公平和平等（如经济机会、医疗保健和发展）构成威胁。（2）需要更好地利用已有的工具来应对这些风险，明确如何应用现有规则来解决隐私、责任和知识产权等问题。我们应在信任和安全领域应用已知的解决方案，并在此基础上再接再厉。（3）需要对AI模型进行更全面、更高质量的技术评估，其中包括社会指标，并认识到其在现实世界中的应用背景。评估需要持续进行并处理工作流程，而不仅仅是静态数据集。（4）应投资于基础研究，包括研究政府自己的技术系统。政府采购（public procurement）可以测试如何评估、实际应用技术。（5）尽可能利用AI解决全球问题，包括加强民主、应对气候危机和消除社会偏见。（6）让公民参与AI的使用：除了技术专家、公民社会等，政府应争取将广大公民纳入政府咨询委员会。圆桌会议4与中方倡议及宣言的对应之处：中方《全球人工智能治理倡议》：反对利用人工智能技术优势操纵舆论、传播虚假信息，干涉他国内政、社会制度及社会秩序，危害他国主权。《布莱切利宣言》：所有参与者都可以在确保AI安全方面发挥作用：国家、国际论坛和其他倡议、公司、民间社会和学术界需要共同努力。

圆桌会议5：前沿AI开发者应如何负责任地扩展能力？

讨论前沿AI开发者负责任的能力扩展政策，包括定义风险阈值、有效的模型风险评估、对具体风险缓解措施的预先承诺、健全的治理和问责机制以及模型开发选择。主席：Michelle Donelan，英国政府科学、创新和技术部部长。（1）关于应该扩展能力的程度，以及扩展能力是否不可避免，目前仍存在争论，但大家一致认为必须为应对风险做好准备。（2）前沿AI公司正在AI安全政策方面取得重大进展，包括负责任的、风险知情的能力扩展政策。然而，这些公司的AI安全政策还需要进一步发展，这项工作迫在眉睫，必须在几个月内落实到位，而非数年。（3）公司政策只是基准，不能取代政府制定的标准和监管。特别值得注意的是，需要可信的第三方（如最近宣布成立的英国和美国AI安全研究所）提供标准化基准。（4）加强网络安全，包括安全设计原则，是所有前沿AI开发者等相关人员可采取的基本措施。（5）前沿AI开发者还肩负着支持和促进了解AI能力和风险的责任，包括在AI安全研究方面开展合作，以及共享其系统使用情况的数据。（6）开发者的种种举措是AI整体风险缓解的部分方法。在有能力的AI系统扩散成为常态的世界里，可能还需要其他途径来提高社会抵御能力。圆桌会议5与中方倡议及宣言的对应之处：

中方《全球人工智能治理倡议》：坚持伦理先行，建立并完善人工智能伦理准则、规范及问责机制，形成人工智能伦理指南，建立科技伦理审查和监管制度，明确人工智能相关主体的责任和权力边界，充分尊重并保障各群体合法权益，及时回应国内和国际相关伦理关切。

《布莱切利宣言》提出：“为推进这一议程，我们决心支持建立一个具有国际包容性的前沿AI安全科学研究网络，该网络包括和补充现有和新的多边、多边和双边合作，包括通过现有国际论坛和其他相关举措，促进为决策和公共利益提供最佳科学。”

圆桌会议6：国家政策制定者应如何应对AI的风险和机遇？

讨论各国管理AI前沿风险的不同政策，包括监测、问责机制、许可和开源AI模型的方法，以及从已采取的措施中汲取的经验教训。主席：Rebecca Finlay，AI Partnership（1）世界各地的国家政府都希望确保AI能够充分发挥其优势，并妥善管理风险。（2）重要的是，既要应对现有风险和新兴风险，包括滥用、失控和更普遍的社会危害，又要确保基于风险采取适宜的方法，以充分实现前沿AI带来的机遇。（3）鉴于AI的快速发展，保持应对风险与追求机遇之间的平衡十分具有挑战性，要成功驾驭这一挑战，就需要监管与创新齐头并进。二者并不是对立，监管可以推动创新。监管包括推出产品安全法律、采取沙盒（sandbox）政策等方式。（4）为此，有必要加深对前沿AI能力、不同领域的AI应用以及AI安全机构的潜在作用等方面的理解。需要进一步考虑了解英国和美国AI安全研究所将承担哪些工作。（5）各国政府认识到AI的无国界性。即使是在国情不同的情况下，我们也能通过共同努力，更好地克服这些全球性挑战。各国政府尤其需要进行能力建设，其中可能包括共享资源和标准，以实现互操作性、协作以及对AI风险和缓解措施的共同理解。（6）治理需要快速、灵活和创新。然而，认识到政府代表其公民采取行动的独特作用，还必须采取行动，通过教育和技能发展解决数字鸿沟问题，以建立和维护公众信任。圆桌会议6与宣言的对应之处：《布莱切利宣言》：我们注意到包容性人工智能和弥合数字鸿沟的重要性，重申国际合作应努力酌情让广泛的合作伙伴参与进来，并欢迎以发展为导向的方法和政策，以帮助发展中国家加强人工智能能力建设，并利用人工智能的赋能作用来支持可持续增长和缩小发展差距。

圆桌会议7：国际社会应如何应对AI的风险和机遇？

讨论最需要在哪些方面开展国际合作，以管理AI前沿技术带来的风险和机遇，包括开展国际研究合作的领域。主席：Tino Cuéllar，卡内基基金会（1）需要采取一致的行动。国际方法应以共同的价值观和可实施的现实行动为基础，这种方法应具有创新性、协作性和包容性，并具有风险意识。（2）AI系统本质上是国际化的。在一个国家创建的系统可以方便快捷地部署到另一个国家，未来几年，拥有前沿AI系统的国家数量将迅速增加，其中包括可以迅速传播的开源模型。（3）在全球范围内，我们在应对AI进步方面也面临着共同的挑战。我们对前沿AI系统的能力、它们带来的风险和机遇以及保护系统的政策和工具的了解还处于早期阶段。（4）在政治制度和国家框架存在差异的情况下，协调应对措施，合作应对共同挑战，既是必要的，也符合我们的共同利益。全球AI安全峰会和其他多边论坛表明，世界各国已为此作出共同努力。（5）未来12个月，前沿AI国际合作优先事项应是：对前沿AI能力以及这些系统对全球安全和人类福祉带来的风险形成共识；制定协调一致的方法，对前沿AI系统进行安全研究和模型评估，包括如何应用这些方法；发展国际合作和伙伴关系，以确保所有人都能共享AI带来的好处，缩小全球不平等。（6）这些优先事项可在一系列多边论坛上推进，我们应共同努力，确保不同的倡议相辅相成，重点突出。圆桌会议7与中方倡议及宣言的对应之处：

《全球人工智能治理倡议》第九条倡导，坚持广泛参与、协商一致、循序渐进的原则，密切跟踪技术发展形势，开展风险评估和政策沟通，分享最佳操作实践。在此基础上，通过对话与合作，在充分尊重各国政策和实践差异性基础上，推动多利益攸关方积极参与，在国际人工智能治理领域形成广泛共识。

《布莱切利宣言》第五、六段申明，人工智能产生的许多风险本身具有国际性，因此最好通过国际合作加以解决；酌情就共同原则和行为准则等方法开展合作，重申国际合作应努力让广泛的合作伙伴酌情参与进来，强调所有参与者都可以在确保人工智能安全方面发挥作用：国家、国际论坛和其他倡议、公司、民间社会和学术界需要共同努力。并在第八段强调，应对人工智能前沿风险的议程将侧重于建立和保持应对人工智能安全风险的全球共识。

圆桌会议8：科学界应如何应对AI的风险和机遇？

讨论AI前沿安全技术解决方案的现状、最紧迫的研究领域以及目前可行的解决方案。主席：Dame Angela McLean，英国政府首席科学顾问（1）目前的模型并非最终解，我们需要更好的模型。我们需要进行大量关于新的、通过设计安全的体系结构的研究。我们可以从安全工程中得到启发，例如可以在AI系统中增加不可拆卸的关闭开关。至于模型是开放发布还是封闭发布有待讨论，在此讨论中模型的大小十分重要。（2）我们需要了解当前模型的现有风险，参与AI设计和整个生命周期内进行评估的人数极少。AI供应商应承担安全方面的举证责任，科学界的职责是设计证明其安全性的测试。（3）我们需要列出一系列开放性研究问题。我们应借鉴多种方法开展研究，同时因其是一项社会技术挑战，因此也囊括社会科学的研究方法。我们需要确定并关注最重要的问题，速度至关重要。科学家必须与决策者携手合作，将科学方法融入风险评估的核心。（4）我们需要警惕互联网带来的权力集中，应多吸收来自不同地域、说不同语言公众的观点。来源：https://www.gov.uk/government/publications/ai-safety-summit-1-november-roundtable-chairs-summaries/ai-safety-summit-2023-roundtable-chairs-summaries-1-november–2圆桌会议8与宣言的对应之处：《布莱切利宣言》：我们申明，虽然必须在整个AI生命周期考虑安全，但发展前沿AI能力的行为者，特别是那些异常强大和潜在有害的AI系统，对确保这些AI系统的安全负有特别重大的责任，包括通过安全测试系统、评估和其他适当措施。我们鼓励所有相关行为者就其衡量、监测和减轻AI潜在有害能力及其可能出现的相关影响的计划，提供适当的透明度和问责制，特别是为了防止滥用和控制问题以及其他风险的放大。

02
11月2日圆桌会议要点1.未来5年至2028年国际社会关注人工智能的优先事项●承认人工智能可能带来的巨大机遇至关重要。应对风险将有助于释放机遇，让所有社区都能从中受益。特别是，人工智能的创新使用具有巨大潜力，可以创造应对挑战的新方法。从促进公共服务的获取到医疗进步，再到更快、更有效地规划和应对气候紧急情况，人工智能已经在各个方面产生了实实在在的影响。建立信任和理解对于释放机遇和应对风险至关重要。这就需要保证这些技术的使用是合乎道德和负责任的。●为了释放这些机遇，英国需要对技能进行投资。这意味着在提高政府内部技术能力的同时，还要支持广大公众的技能发展。像人工智能安全研究所这样的机构、学术界和企业界并肩合作，可以发挥重要作用。引入学术界和民间社会的多方利益相关者方法将能够收获人工智能带来的好处。2.为今后的合作制定行动和下一步措施（1）进行务实讨论，包括对模型能力和安全风险以及选举背景下的虚假信息和深度伪造的风险形成共识。迅速开展合作，共同确定和评估与前沿人工智能相关的风险，这对于降低风险和收获人工智能可能带来的好处至关重要。这种方法应具有包容性，并应借鉴现有的倡议，如全球人工智能合作伙伴关系，以及多边组织在执行这些任务方面所做的工作。“科学现状”报告是重要的第一步，各国应提名代表加入专家顾问小组。前沿人工智能对信息环境和政治进程的完整性构成重大风险，降低了虚假信息参与者的准入门槛，同时增加了虚假信息内容的数量和真实性。（2）进行战略讨论，探讨人工智能目前正在哪里创造最大的机遇，以及进一步开展国际合作最有成效的具体领域。●人工智能的积极影响已经体现在我们生活的各个关键领域。例如，人工智能正在帮助开发更好的公共服务和更好的公民体验，与金融服务部门密切合作，解决欺诈问题，支持语言翻译应用，打破障碍，促进全球贸易，改变我们适应和缓解气候变化的方法，包括应对严重的火灾和洪水风险，实现全民医保，支持癌症等疾病的诊断，以及支持提高能源效率和降低成本等。●人工智能有助于加快实现可持续发展目标。它可以帮助我们解决贫困问题，预测和应对人道主义危机，支持包容性增长。同时，人工智能有助于提高粮食供应链的效率。各国必须共同努力，相互学习，相互协作，以确保世界各地都能实现人工智能的真正变革潜力。

来源：新治理

【英国人工智能安全峰会最新动态】

推荐阅读

主理人：刘典

编辑：陶含孜

校审：王祚

终审：梁正   鲁俊群

关于我们

清华大学人工智能国际治理研究院（Institute for AI International Governance, Tsinghua University，THU I-AIIG）是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势，研究院面向人工智能国际治理重大理论问题及政策需求开展研究，致力于提升清华在该领域的全球学术影响力和政策引领作用，为中国积极参与人工智能国际治理提供智力支撑。

新浪微博：@清华大学人工智能国际治理研究院

微信视频号：THU-AIIG

Bilibili：清华大学AIIG