▾   栏目简介 

如果说之前推出的【论文速读】是领读顶会严谨的实证研究论文，那么【好文译递】则想传递观点性、发散性的议论文章，只是静静地完整呈现译文，任您自由地品读和思考。

 ✍🏻 编者按 

—

2023年2月6日，Nature 的 NEWS FEATURE 栏目发表了评论文章《THE PROMISE AND PERIL  OF GENERATIVE AI——What ChatGPT and generative AI mean for science》，作者是 Chris Stokel-Walker 和 Richard Van Noorden，文章从“流畅但错了”“缺陷能被解决吗”“安全与责任”“增强诚实使用”四个方面讲述了生成式 AI的前景、风险与解决对策，予以行业相关人员深刻启迪。由于文章篇幅较长，我们将文章分作两期进行推送。上一期我们编译了导言和前两个论点，这一期则是文章的后两个论点和结论。

 📖 原文中译 

生成式AI 的前景与风险——

ChatGPT 和 生成式AI 对科学意味着什么

—

安全与责任

Galactica 遇到了伦理学家多年来一直关注的一个常见安全问题：没有输出控制的大语言模型很容易被用于生成仇恨性言论和垃圾邮件，以及如种族主义、性别歧视等其他隐含在训练数据中的危害性言论。

密歇根大学安娜堡分校的科技与公共政策项目主任 Shobita Parthasarathy 表示，除了直接生成有害内容外，AI聊天机器人会受到来自其训练数据的历史偏见或世界观的影响，例如特定文化的优越性。因为正在创建大型语言模型的公司大多植根于这些文化之中，那么它们可能不会尝试克服这些系统性的且难以纠正的偏见，她补充道。

OpenAI 在决定公开发布 ChatGPT 时试图规避许多类似的问题。它将知识库限制在 2021年之前，阻止它浏览互联网，并安装了过滤器，试图让该工具拒绝为敏感或有害性提示生成内容。然而，要实现这一点，需要人类审核员标记大量有害文本。记者报道称，这些审核工人薪资低微，且其中有些人遭受了创伤。关于员工剥削的相似担忧也曾在其他雇用人力训练自动化机器人以标记有害内容的社交媒体公司上被提起。

OpenAI 的防护措施并不完全成功。去年 12月，加利福尼亚大学伯克利分校的计算神经科学家史蒂文·皮安塔多西（Steven Piantadosi）在 Twitter 上发文称，他让 ChatGPT 开发一款根据人的出生国家判断是否应该对其施加酷刑的 Python 程序。ChatGPT 聊天机器人返回的代码邀请用户输入一个国家，如果该国是朝鲜、叙利亚、伊朗或苏丹，该代码则回应“应该对这个人施以酷刑”。（OpenAI 随后封锁了这种类型的问题。)

去年，一群学者发布了一种名为 BLOOM 的替代性语言大模型。研究者试图通过选择更小范围、更高质量的多语种文本库进行训练以减少有害输出。该团队还将其训练数据完全开放（不像 OpenAI）。研究者督促大型科技公司认真负责地遵循这个范例——但我们并不清楚他们是否会遵守。

一些研究人员表示，学术界应该拒绝支持大型商业语言模型。除了偏见、安全问题和被剥削工人等问题之外，这些高强度计算算法还需要大量的能源来进行训练，这引发了对它们造成生态问题的担忧。更令人担忧的是，通过将思维转移到自动聊天机器人上，研究人员可能会失去表达自己思想的能力。荷兰尼伊梅亨 Radboud 大学的计算认知科学家 Iris van Rooij 敦促学者们抵制此类产品的诱惑，并在一篇博客中质问道：“作为学者，我们为什么要热衷于使用和宣传这种产品？”

另一个问题是一些大语言模型的 合法性。这些大语言模型从互联网上获取内容进行训练，但这种获取方式有时并没有获得明确的许可权限。版权和许可法目前包含像素、文本和软件的直接拷贝，但不涵盖它们的风格模仿，当这些 AI 生成的模仿通过融合原始材料进行训练时，就会带来棘手的侵权问题。一些 AI 艺术程序的创作者，包括 Stable Diffusion 和 Midjourney，目前正在受到艺术家和摄影机构的起诉；OpenAI 和微软（以及其附属技术网站 GitHub）也因其 AI 编码助手 Copilot 的创作而被起诉侵犯软件版权。英国纽卡斯尔大学的互联网法专家 Lilian Edwards 表示，公众的抗议可能会迫使法律发生变化。

增强诚实使用

一些研究人员表示，设定这些工具的界限可能至关重要。英国纽卡斯尔大学的互联网法专家 Lilian Edwards 建议，现有的有关歧视和偏见法律（以及 AI 危险使用的计划监管）将有助于确保语言大模型的使用是诚实、透明和公正的。她说：“现在有很多法律存在，只需要稍加修改或实施即可。”

同时，大语言模型逐渐被推向 使用透明化。学术出版商（包括《自然》杂志的出版方）表示，科学家应在研究论文中披露大语言模型的使用（另请参见《自然》613,612；2023）；教师表示他们希望学生采取同样的行为。《科学》杂志更进一步表示，任何由 ChatGPT 或任何其他 AI 工具生成的文本都不能用于论文。

一个关键的技术问题是，AI 生成的内容是否容易被发现。许多研究人员正在研究这个问题，主旨是使用大语言模型本身来发现 AI 创建的文本。例如，新泽西州普林斯顿大学的计算机科学本科生 Edward Tian 在去年 12月发布了 GPTZero。这个AI检测工具以两种方式分析文本：一种是“困惑度”，即大语言模型对检测文本的熟悉程度。Tian 的工具使用了一个早期模型，GPT-2；如果它发现文本中大多数的词和句子是可预测的，那么该文本很可能是由 AI 生成的。该工具还检查文本的变化度，这是一种被称为“突发性”的度量：AI 生成的文本往往比人类编写的文本有更加一致的语调、节奏和复杂度。

许多其他产品同样致力于检测由 AI 写作的内容。OpenAI 自己已经发布了一个用于检测 GPT-2 的检测器，并在今年 1月份发布了另一个检测工具。对于科学家而言，由反抄袭软件开发商 Turnitin 开发的工具可能尤为重要，因为 Turnitin 的产品已经被全球的学院、大学和学术出版商使用。该公司表示，自从 GPT-3 于 2020年发布以来，他们一直在开发 AI 检测软件，并计划在今年上半年推出。

然而，这些工具都无法保证其绝对可靠，尤其当如果由AI生成的文本被人为编辑过。此外，OpenAI 的客座研究员–德克萨斯大学奥斯汀分校的计算机科学家 Scott Aaronson 表示，检测器可能会错误地将一些人工撰写的文本误判为 AI 生成的。OpenAI 提到，在测试中，其最新研发的工具有 9% 的概率错误地将人工编写的文本标记为AI编写，并且只正确识别了 26% 的 AI 编写文本。因此，Aaronson 表示，我们不能仅仅通过检测器的测试就指控一个学生暗中使用 AI，需要更多的证据来证明其是否使用了 AI。

另一个想法：AI 内容将带有自己的水印。去年 11月，Aaronson 宣布他和 OpenAI 正在研究一种为 ChatGPT 的输出添加水印的方法。虽然还没有发布，但马里兰大学学院公园分校的计算机科学家 Tom Goldstein 领导的团队于 1月 24日发布的预印本中提出了一种添加水印的方法。这个想法是在大语言模型生成输出的那一刻使用随机数生成器，创建一个可替换词语的列表，然后指示大模型从中选择。这样，在最终的文本中留下了选择的单词的痕迹，这些痕迹被统计并识别出来，但对读者来说并不明显。编辑可以破坏这种痕迹，但是 Goldstein 指出这需要修改超过一半的单词。

Aaronson 指出，数字水印的一个优点是它很少在测试里产生假阳性结果。如果有数字水印，那么这篇文章很可能是由 AI 生成的，但是并不是绝对可靠的。他说：“如果铁定要做，那肯定有方法来打败任何数字水印设置。”检测工具和数字水印只是让暗中使用AI更加困难，但无法杜绝。

与此同时，大模型的创建者们正在忙于构建更复杂的，基于更大数据集的聊天机器人（如 OpenAI 今年发布 GPT-4），其中包括专门针对学术或医学工作的工具。去年12月底，Google 和 DeepMind 发表了一篇关于临床语言大模型的预印本，称为 Med-PaLM7。该工具可以回答一些开放性的医学问题，回答得几乎和普通人类医生一样好，尽管它仍然存在一些缺点和不可靠性。

加州圣迭戈的斯克里普斯研究所主任 Eric Topol 表示，他希望未来运用大模型的 AI 甚至可以通过对比学术文献中的文本记录与身体扫描图像来帮助诊断和学习癌症。但是他强调，这些都需要专家的审慎监督。

生成式 AI 背后的计算机科学正在快速发展，每个月都会出现创新改革。研究人员如何使用它们的抉择将决定它们和我们的未来。Topol 说：“在 2023年初我们认为我们已经看到一个疯狂的结局，但真的才刚刚开始。”

原文🔗：https://www.nature.com/articles/d41586-023-00340-6

*声明：原文来自 Nature 官网，如有侵权，可提议撤稿

 ▾   好文征集 

欢迎大家添加 OpenBMB 微信，即可进入大模型社群交流文章，也可分享推荐更多AI领域的好文！文章时效不限，既可以是讨论密集的的热点时文，也可以是历久弥香的经典前文~

官方网站
https://www.openbmb.org
 
GitHub
https://github.com/OpenBMB
https://github.com/thunlp

技术文章
Delta Tuning 登陆 Nature子刊 | 大模型工具学习引擎 BMTools
CPM-Ant 训练完成 | BMInf 适配GLM-130B
高效训练工具 BMTrain | BMTrain 技术原理
CPM-Live 邀请函 | CPM-Live 训练启动
OpenBMB 社区介绍 | 大模型课程
大模型榜单 BMList

长期开放招聘｜含实习
开发岗  |  研发岗  |  运营岗

交流QQ群
735930538

欢迎转载
商务合作请联系
openbmb@gmail.com

👏期待您的关注与加入👏