Nature｜在研究中负责任地使用生成式AI的实时指南

生成式AI的发展和监管

通过根据人类的提示生成文本、图像、视频甚至计算机程序，生成式人工智能系统可以让人们更容易获取信息，加快技术发展。然而，它们也带来了风险–可能会在互联网上充斥错误和“深度伪造”的信息。

科学本身的完整性也将受到生成式人工智能的威胁。在研究中广泛使用人工智能工具，生成的结果可能会歪曲科学事实。虽然风险是真实存在的，但禁止这项技术似乎并不现实。我们如何才能从生成式人工智能中获益，同时避免危害？各国政府正开始对人工智能技术进行监管。《欧盟人工智能法案 (The draft European Union AI Act)》草案要求提高透明度，美国总统乔-拜登提出的目标是自我监管。今年 7 月，美国政府宣布已获得七家领先科技公司的自愿承诺，”管理人工智能带来的风险，保护美国人的权利和安全”。今年 8 月，中国国家互联网信息办公室宣布将执行人工智能法规，英国政府也将于今年 11 月组织一次峰会，希望就限制人工智能风险达成政府间协议。 许多政府人员认为，人工智能正在以惊人的速度向前发展，研究人员必须像在其他领域所做的那样，带头测试、证明和改进生成式人工智能系统的安全性。理想情况下，这项工作应在独立于商业利益的专门机构中进行。然而，只有少数大学院系和几家大型科技公司拥有这样的资源。例如，微软向 OpenAI 及其 ChatGPT 系统投资了 100 亿美元。出于商业原因，公司不太可能公布其最新模型的细节，这就排除了独立验证和监管的可能性。

2023 年4 月和 6 月，在阿姆斯特丹大学高等研究院举行的两次峰会上，来自国际科学理事会、大学高等研究院和欧洲科学与艺术学院等跨国科学机构的成员共同制定了《在研究中负责任地使用生成 AI 的实时指南 (Living guidelines for responsible use of generative AI in research)》。

其他合作伙伴包括全球性机构（联合国教育、科学及文化组织，UNESCO）和Patrick J. McGovern 基金会（该基金会为世界经济论坛全球人工智能行动联盟提供咨询）。政策顾问也作为观察员参加了会议，其中包括经济合作与发展组织和欧盟委员会的代表。

实时指南的主要内容

在Nature的这篇文章中，作者介绍了《在研究中负责任地使用生成式 AI 的实时指南》第一版的主要内容。

在研究中负责任地使用生成式AI的实时指南

指南第一版及其基本原则。科学期刊的研究人员、审稿人和编辑1. 由于生成式人工智能生成的成果真实性无法保证，而且无法可靠地追踪和注明来源，因此我们始终需要人类对科学成果承担最终责任。这意味着，在研究过程中，我们至少需要对以下步骤进行人工验证：数据分析解释；撰写手稿；评估手稿（期刊编辑）；同行评审；找出研究差距；制定研究目标；提出假设。2. 研究人员应始终在（科学）研究出版物或演示文稿中承认并说明他们在哪些任务中使用了生成式人工智能。3. 研究人员应承认他们在工作中使用了哪些生成式人工智能工具（包括哪些版本）。4. 为遵守开放科学原则，研究人员应预先登记在科学研究中使用了生成式人工智能（例如他们将使用哪些提示），并在发表论文时提供生成式人工智能工具的输入和输出。5. 建议在工作中广泛使用生成式人工智能工具的研究人员使用不同的生成式人工智能工具（如适用）验证其研究成果。6. 科学期刊应承认其在同行评审或遴选中使用了生成式人工智能。7. 科学期刊应询问审稿人在多大程度上使用了生成式人工智能进行评审。LLM 开发人员和公司8. 生成式人工智能开发者和公司在向社会推出大型语言模型（LLMs）之前，应将其训练数据、训练设置和算法的细节完全提供给促进审查机构发展的独立科学组织（见”生成式人工智能的审查机构”）。9. 生成式人工智能开发者和公司应与独立的科学审查机构分享正在进行的调整、训练集和算法。10. 独立科学审查机构和人工智能公司应设立一个门户网站，用户如发现有偏见或不准确的回应，可轻松提交报告（独立科学审查机构应有权访问该门户网站和公司采取的行动）。研究资助机构11. 研究（诚信）政策应遵守指南。12. 研究资助机构在评估研究资助提案时，不应（完全）依赖人工智能生成工具，而应始终进行人工评估。13. 研究资助机构应承认其在评估研究提案时使用了生成式人工智能工具。本指南由 Olivier Bouin、Mathieu Denis、Zhenya Tsoy、Vilas Dhar、Huub Dijstelbloem、Saadi Lahlou、Yvonne Donders、Gabriela Ramos、Klaus Mainzer 和 Peter-Paul Verbeek 共同制定。

实时指南的主要原则

在研究中使用生成式人工智能包含三项关键原则：问责制、透明度和独立监督。问责制。人类必须保持参与，以评估生成内容的质量；例如，验证结果和识别偏见。虽然生成式人工智能的低风险使用（如总结或检查语法和拼写）有助于科学研究，但指南主张，撰写手稿或同行评审等关键任务不应完全外包给生成式人工智能。透明度。研究人员和其他利益相关者应始终公开他们使用生成式人工智能的情况。这可以提高人们的认识，让研究人员研究生成式人工智能如何影响研究质量或决策。文章作者认为，生成式人工智能工具的开发者也应该对其内在工作机制保持透明，以便对这些技术进行稳健而严谨的评估。独立监督。需要对生成式人工智能工具进行客观的外部审查，以确保它们的质量和使用符合道德规范。人工智能是一个价值数十亿美元的产业，其风险之大，不能依靠自律。

建立一个科学机构来审查人工智能系统

需要一个官方机构来评估生成式人工智能系统的安全性和有效性，包括其使用中的偏见和道德问题。该机构必须有足够的计算能力来运行完整的模型，并有足够的源代码信息来判断它们是如何训练的。

审查机构应与独立的科学家委员会合作，制定人工智能工具的评判和认证基准。这些基准应定期更新。在向公众发布人工智能生成系统之前，审查机构可以检查和审核训练数据集，以防止出现偏见和不良内容。生成式人工智能系统的认证需要不断修改和调整，因为这些系统的性能会根据用户的反馈和关注迅速发展。当倡议依赖于行业支持时，就会产生独立性问题。因此，指南提出了由专家和科学家制定、公共部门支持的”实时准则”。

生成式人工智能的审查机构

这个科学机构必须具备以下特征，才能发挥有效作用。1. 研究界和社会需要一个独立的（减少利益冲突）、国际性（包括全球南部的代表）和跨学科的科学组织，建立一个独立的机构，从准确性、偏差、安全性等方面对生成式人工智能工具及其使用进行评估。2. 该组织和机构应至少包括但不限于计算机科学、行为科学、心理学、人权、隐私、法律、伦理学、科学和哲学（及相关领域）方面的专家。它应通过团队的组成和实施的程序，确保来自各部门（私营和公共部门）的利益相关者和广泛的利益相关群体（包括弱势群体）的见解和利益得到体现。团队组成的标准可能会随着时间的推移而改变。3. 该机构应为科学实践和社会中使用的生成式人工智能工具制定质量标准和认证程序，至少涵盖以下方面：准确性和真实性；适当和准确的来源信用；歧视性和仇恨性内容；训练数据、训练设置和算法的细节；机器学习的验证（特别是对于安全关键型系统）。

4. 独立的跨学科科学机构应开发和部署各种方法，以评估生成式人工智能是否促进公平，以及生成式人工智能开发者可采取哪些措施来促进公平和公平使用（如在训练数据中纳入不常用的语言和不同的声音）。

审查机构应主动寻求防止有害人工智能产品的引入，同时让政策制定者、用户和消费者了解产品是否符合安全性和有效性标准。

获得国际资金以维持指南

需要资金投入。审查机构将是最昂贵的部分，因为它需要与 OpenAI 或大型大学联盟相当的计算能力。尽管金额将取决于该机构的职权范围，但它的建立可能至少需要 10 亿美元。这大致相当于培训 GPT-5 的硬件成本。

为了确定所需的范围，作者呼吁在 2024 年初成立一个跨学科科学专家组，并在 6 个月内提交报告。该小组应就审查机构和准则委员会的运作方式以及预算计划进行规划。

一些资金可能来自公共财政、研究机构和国家。

关于未来

一切都日益紧迫。随着人工智能生成系统以迅雷不及掩耳之势发展，科学界必须在塑造负责任的生成式人工智能系统的未来方面发挥核心作用。建立这些机构并为其提供资金是第一步。参考资料：doi: https://doi.org/10.1038/d41586-023-03266-1

——— End ———