Nature ：生成式 AI 的前景与风险 （一）【好文译递】第 5 期

​

 ▾   栏目简介 

如果说之前推出的【论文速读】是领读顶会严谨的实证研究论文，那么【好文译递】则想传递观点性、发散性的议论文章，只是静静地完整呈现译文，任您自由地品读和思考。

 ✍🏻 编者按 

—

2023年2月6日，Nature 的 NEWS FEATURE 栏目发表了评论文章《THE PROMISE AND PERIL  OF GENERATIVE AI——What ChatGPT and generative AI mean for science》，作者是 Chris Stokel-Walker 和 Richard Van Noorden，文章从“流畅但错了”“缺陷能被解决吗”“安全与责任”“增强诚实使用”四个方面讲述了生成式 AI的前景、风险与解决对策，予以行业相关人员深刻启迪。由于文章篇幅较长，我们将分作两期推送：本期我们编译了导言和前两个论点，下一期则将编译文章后两个论点和结论。欢迎大家持续关注~

 📖 原文中译 

生成式AI 的前景与风险——

ChatGPT 和 生成式AI 对科学意味着什么

—

ILLUSTRATION BY PAWEŁ JOŃCA（原文配图）

研究人员对于 ChatGPT 等工具如何变革科学和社会感到兴奋，但同时也感到忧虑。

—— Chris Stokel-Walker & Richard Van Noorden

12月，计算生物学家 Casey Greene 和 Milton Pividori 开始了一项不寻常的实验：请一位非科学家助手帮忙修改他们的三篇研究论文。他们勤勉的助手在几秒钟内就对文件的某些部分提出了修改意见，并在每份手稿上花了大约5分钟来进行审阅。在一份生物学手稿中，他们的助手甚至发现了一个方程式的参考文献中的错误。试验并非完全顺利，但最终的手稿更流畅通顺了——而且费用不高，每份文件只需不到 0.50美元。

如 Greene 和 Pividori 在 1月 23日的预印本中所言，这个助手并不是一个人，而是名为 GPT-3 的人工智能算法，它于 2020年首次发布。GPT-3 是一个备受关注的生成式人工智能聊天式工具之一，可以轻松产出流畅的文本，无论是要求生成散文、诗歌、计算机代码，还是如这些科学家让它编辑研究论文。这些工具中最著名的是 ChatGPT，它是 GPT-3的一个版本，在去年 11月发布后因为免费且易用而一炮走红。

其他生成式 AI 可以生成图像或声音。在费城宾夕法尼亚大学工作的 Pividori 说道：“我真的很惊讶，这将帮助提高我们研究人员的工作效率。” 其他科学家表示，他们现在经常使用大模型，不仅用于编辑手稿，还用于帮助他们编写或检查代码，以及头脑风暴。“我现在每天都在使用大模型，”在雷克雅未克冰岛大学的计算机科学家 Hafsteinn Einarsson 说道。他最初使用的是 GPT-3，但后来转向了 ChatGPT，用它来撰写 PPT、出学生试题和作业，以及将学生论文转换成正式研究论文。“许多人把它当作数字秘书来使用”，他说。

大模型现在已成为搜索引擎、代码编写助手的一部分，甚至还可以用作与其他公司的聊天机器人进行谈判以获取更有利的产品价格。ChatGPT 的创造者——位于加州旧金山的 OpenAI，已经发布了一项每月20美元的订阅服务，承诺会有更快的响应速度并且可以优先使用新功能（虽然其试用版仍然免费）。而已经投资了OpenAI 的科技巨头微软，在1月份宣布了进一步的投资，据报道约为 100亿美元。大模型注定将被整合到通用的文字和数据处理软件中。

生成式 AI 未来在社会中将无处不在似乎是无可争议的，现今的工具代表了该技术的雏形。但大模型也引发了广泛的担忧——从它们回传虚假信息的倾向，到人们担心有人将由AI生成的文本冒充为自己的原创。当 Nature 询问研究人员 ChatGPT等聊天机器人的潜在用途（尤其是在科学领域）时，他们的兴奋和担忧并存。

位于奥罗拉的科罗拉多大学医学院的 Greene 说：“如果你相信这项技术有可能带来变革，那么我认为你必须对它提高警惕。”研究人员说，这在很大程度上将取决于未来的法规和准则如何限制 AI 聊天机器人的使用。

流畅，但错了

一些研究者认为大模型非常适合在人类的监督下用于加速论文或申请书撰写的任务。瑞典萨尔格伦斯卡大学医院的神经生物学家 Almira Osmanovic Thunström曾实验用 GPT-3 合著了一篇手稿，她评价道：“科学家不会再费力为研究经费撰写漫长的申请介绍了，他们只需要让系统代为完成。”

伦敦软件咨询公司 InstaDeep 的研究工程师 Tom Tumiel 说，他每天都会使用大模型辅助他编写代码。他表示：“这几乎就像是一个更好用的 Stack Overflow”。他口中的 Stack Overflow 是指那些程序员会互相回答问题的热门社区网站。

但研究者强调，大模型在回答问题方面根本不可靠，有时会生成错误的回答。Osmanovic Thunström 说：“我们在使用这些系统生成知识时必须要保持警惕。”

这种不可靠性已经固化在大模型的构建方式中。ChatGPT 及其同行通过学习庞大的线上文本数据库中的语言数据模式来运作，其中包括一些不实、存在偏见、或过时的知识。然后，当大模型获得提示时，它们仅仅逐字逐句地输出任何在语言风格上似乎合理的内容来延续对话。

结果是，大模型很容易给出错误的或有误导性的信息，特别是在有些缺乏训练数据的技术型领域。同时，大模型也不能展示它们的信息来源；如果被要求撰写一篇学术论文，它们会编造虚假的引文。Nature 子刊《自然· 机器智能》杂志的一位编辑于今年1月发表的评论中指出：“这种工具给出的事实或参考文献是不可信的。”在将这些警示纳入考量的情况下，ChatGPT 和其他大模型可以成为专业研究者的高效助手，只要他们有足够的专业知识来直接点出大模型产生的错误或轻松验证其答案，例如关于一行代码的解释或建议是否正确。

但这些工具可能会误导新手用户。例如，去年12月 Stack Overflow 暂时禁止使用 ChatGPT，因为网站管理员发现了大量由热心用户发送的大模型回答。这些回复虽然看似有说服力，但实际上都是错误的，这对搜索引擎来说简直是一个大灾难。

这些缺陷能够被解决吗？

一些类似 Elicit 一样面向研究人员的搜索引擎工具会 利用大模型的功能来规避其属性问题：首先通过大模型引导对于相关文献的搜索请求，然后简要概括搜索引擎查询到的网站或文档，从而输出一个显然有参考依据的内容（尽管大模型仍可能对其中每个单独的文档进行错误的概述）。

构建大模型的公司也非常清楚这些问题。去年9月，Google 子公司，DeepMind 发布了一篇关于“对话代理”的论文，并命名该代理为 Sparrow。该公司的首席执行官兼联合创始人 Demis Hassabis 后来告诉《时代杂志》，Sparrow 的私人测试版将于今年发布；该杂志报道称，谷歌旨在开发出处引用等产品功能。而谷歌的其他竞争对手，例如 Anthropic，则声称他们已经解决了一些 ChatGPT 存在的的问题（Anthropic、OpenAI 和 DeepMind 拒绝接受本文采访）。

就目前而言，一些科学家表示，ChatGPT 没有受过足够专业内容的训练，也无法在技术领域提供帮助。哈佛大学生物统计学博士生 Kareem Carr 曾在测试ChatGPT 工作能力时感到不太满意。他说：“我认为 ChatGPT 很难达到我所需的专业度。”（即便如此，Carr 提到当他向 ChatGPT 询问20种解决某科研问题的方法时，它乱七八糟地回答了一堆，但有一个有用的想法——一个他从未听说过的统计术语，并将他指向了一片新的学术文献领域。）

一些科技公司正在用专业的科学文献训练聊天机器人，但他们也遇到了自己的问题。去年 11月，科技巨头 Meta 发布了一个名为 Galactica 的大模型。Galactica 由科学摘训练而成的，旨在使其特别擅长产出学术内容和回答研究问题。然而，在用户让其产生错误的或带有种族主义的言论后，该演示被取消了公共访问权限（尽管其代码仍然可用）。Meta 的首席人工智能科学家 Yann LeCun 在回应批评者时发推文称：“不能再通过随意的地滥用它来找乐子了，你们开心了吗？”（Meta 未回应其新闻办公室提出的与 LeCun 交谈的要求。）

未完待续…

原文🔗：https://www.nature.com/articles/d41586-023-00340-6

*声明：原文来自 Nature 官网，如有侵权，可提议撤稿

 ▾   好文征集 

欢迎大家添加 OpenBMB 微信，即可进入大模型社群交流文章，也可分享推荐更多AI领域的好文！文章时效不限，既可以是讨论密集的的热点时文，也可以是历久弥香的经典前文~

 ➤ 传送门  OpenBMB官网 

🔗 https://www.openbmb.org

 ➤ 传送门   OpenBMB GitHub 

🔗 https://github.com/OpenBMB

官方网站
https://www.openbmb.org
 
GitHub
https://github.com/OpenBMB
https://github.com/thunlp

技术文章
Delta Tuning 登陆 Nature子刊 | 大模型工具学习引擎 BMTools
CPM-Ant 训练完成 | BMInf 适配GLM-130B
高效训练工具 BMTrain | BMTrain 技术原理
CPM-Live 邀请函 | CPM-Live 训练启动
OpenBMB 社区介绍 | 大模型课程
大模型榜单 BMList

长期开放招聘｜含实习
开发岗  |  研发岗  |  运营‍岗

交流QQ群
735930538

欢迎转载
商务合作请联系
openbmb@gmail.com

👏期待您的关注与加入👏

​Read More