如何应对前沿AI滥用和失控风险？丨大模型安全与对齐读书会·周六直播

导语

2023年11月举办的英国AI安全峰会指出了前沿AI可能会带来的滥用、社会危害和失控风险，然而当前对于这些风险学界尚未形成共识的科学理解。尽管新兴技术范式为科学发现和创新提供了前所未有的机会，也导致科学领域的人工智能安全问题出现很多的潜在风险，这些潜在风险与传统的人工智能风险有何异同？如何对这些潜在风险进行评估和缓解？

内容简介

大模型安全与对齐读书会的第八期，我们邀请到中国科学技术大学的何纪言，他将以分子科学中的实际案例来展示科学领域的人工智能安全风险，并讨论并提出一些可能的技术框架来缓解这一风险。此外，我们还邀请到安远AI的段雅文，他将介绍基于危险能力评测对灾难性生物滥用风险和失控风险的评估的案例分析，并且介绍当前此类评测如何影响模型部署决策和自我监管。

分享议程

• 主题分享：何纪言《科学人工智能模型风险管控》

• 主题分享：段雅文《基于评测的前沿模型风险评估》

• QA&圆桌讨论

分享内容大纲

• 《科学人工智能模型风险管控》

• AI for Science 中的新兴风险

• 如何防止科学 AI 模型被错误使用

• 《基于评测的前沿模型风险评估》

• 前沿AI风险分类：滥用风险、社会危害风险、失控AI风险

• 滥用风险案例分析：风险模型（灾难性生物滥用）、问答评测、专家红队测试、human uplift评测

• 失控AI风险案例分析：风险模型（寻求权力）、自我复制与适应能力评测、态势感知评测、欺骗性对齐评测

• 基于模型评测的自我监管框架：Anthropic 负责任扩展策略、OpenAI “准备框架测试版” Preparedness Framework（Beta）

主要涉及到的前置知识

科学人工智能模型（AI for Science）Supervised Fine-tuningRLHF

对抗训练

主讲人介绍

何纪言，中国科学技术大学网络空间安全学院在读博士生，研究方向为人工智能驱动的科学研究（AI for Science）和人工智能安全，本科毕业于中国科学技术大学计算机学院。他曾参加过人工智能模型和隐私、安全和版权保护等相关的研究。相关工作：

https://scholar.google.com/citations?user=Ep5qE5QAAAAJ。

研究方向：大模型、生成式人工智能、智能体系统等。

段雅文，安远AI技术项目经理，致力于AI安全技术社区建设和促进大模型安全与对齐研究。他曾在UC Berkeley的Stuart Russell组和剑桥大学David Krueger实验室进行AI安全和对齐研究。他曾在NeurIPS组织Socially Responsible Language Model Research工作坊，参与的研究项目曾在CVPR、ECCV、ICML、ACM FAccT、NeurIPS MLSafety Workshop等ML/CS会议和工作坊上发表。他拥有剑桥大学机器学习硕士学位和香港大学理学士学位。

研究方向：人工智能安全与对齐等。

主持人介绍

任麒冰，上海交通大学二年级博士生，吴文俊人工智能荣誉博士班班长，导师是马利庄教授，安远AI安全与对齐学者。他参与的研究项目曾在CVPR、NeurIPS、KDD、ICLR等ML/CS会议上发表。

研究方向：基础语言模型的安全和对齐等。

涉及到的参考文献

• He J, Feng W, Min Y, et al. Control risk for potential misuse of artificial intelligence in science[J]. arXiv preprint arXiv:2312.06632, 2023.

• Shevlane T, Farquhar S, Garfinkel B, et al. Model evaluation for extreme risks[J]. arXiv preprint arXiv:2305.15324, 2023.

• Li N, Pan A, Gopal A, et al. The WMDP Benchmark: Measuring and Reducing Malicious Use With Unlearning[J]. arXiv preprint arXiv:2403.03218, 2024.

• Building an early warning system for LLM-aided biological threat creation.

• Ngo R, Chan L, Mindermann S. The alignment problem from a deep learning perspective[J]. arXiv preprint arXiv:2209.00626, 2022.

• Kinniment M, Sato L J K, Du H, et al. Evaluating language-model agents on realistic autonomous tasks[J]. arXiv preprint arXiv:2312.11671, 2023.

• Berglund L, Stickland A C, Balesni M, et al. Taken out of context: On measuring situational awareness in LLMs[J]. arXiv preprint arXiv:2309.00667, 2023.

• Hubinger E, Denison C, Mu J, et al. Sleeper agents: Training deceptive llms that persist through safety training[J]. arXiv preprint arXiv:2401.05566, 2024.

• Anthropic’s Responsible Scaling Policy

直播信息

时间：2024年3月30日（周六）早上10:00-12:00参与方式：扫码参与大模型安全与对齐读书会，加入群聊，获取系列读书会回看权限，成为大模型安全与对齐读书会社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动大模型安全与对齐读书会社区的发展。

报名成为主讲人

读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：2024开年读书会：AI安全与对齐——应对前沿AI失控与滥用的技术路线。

大模型安全与对齐读书会

大模型的狂飙突进唤醒了人们对AI技术的热情和憧憬，也引发了对AI技术本身存在的社会伦理风险及其对人类生存构成的潜在威胁的普遍担忧。在此背景下，AI安全与对齐得到广泛关注，这是一个致力于让AI造福人类，避免AI模型失控或被滥用而导致灾难性后果的研究方向。集智俱乐部和安远AI联合举办「大模型安全与对齐」读书会，由多位海内外一线研究者联合发起，旨在深入探讨大模型安全与对齐所涉及的核心技术、理论架构、解决路径以及安全治理等交叉课题。

详情请见：2024开年读书会：AI安全与对齐——应对前沿AI失控与滥用的技术路线
特别鸣谢安远AI对本次读书会的内容贡献。
安远AI是一家位于北京、专注于AI安全与治理的社会企业。我们的使命是引领人机关系走向安全、可信、可靠的未来。我们面向大模型和通用人工智能安全和对齐问题，进行风险研判、建立技术社区、开展治理研究、提供战略咨询以及推动国际交流。

点击“阅读原文”，报名读书会