600万播放课程导师Jeremy：训练模型是门手艺，实践出真知 丨智源专访

导读

近日，智源社区对明星AI教育家、原Kaggle总裁兼首席科学家、fast.ai创始人Jeremy Howard进行专访。本次专访围绕技术普惠、开源与闭源之争、中美差距、AI人才培养等核心议题展开。

fast.ai是a16z首批支持的开源项目之一，该课程（https://course.fast.ai）目前已达到600万播放量，谷歌研究总监Peter Norvig曾力荐，“‘深度学习人人可学’是很多教程的主张，但这套教程真正做到了。对于程序员来说，这是熟练掌握深度学习的最佳资源之一。”

关于AI教育，Jeremy提到让知识“通俗易懂”一个秘诀是：保持实用性，并且提供大量的实例。“我并不希望把学习变成一种仅限于少数人的特权。我们的目标是让学习变得开放和易于接触，让每个人都能够理解和应用。”

在分享中，他尤其提到在中国学习中文的经历，他曾将中文学习视作一个为期10年的挑战项目，6000个汉字和复杂成语的学习，打开了理解计算机概念的新视角。谈及对时下开源模型的评价，Jeremy指出虽然中国涌现出大量优秀的模型，但在指令微调方面和美国公司仍有不小的差距，也是未来的努力方向。

以下为采访全文（编者进行了不改变原意的改编）。

智源专访栏目意在通过展现技术研究者和创业者的研究经历和故事，记录技术世界的嬗变，激发当代AI从业者的创新思维，启迪认知、关注突破性进展，为行业注入灵感光芒。本次专访为总第13期。

Jeremy Howard

Jeremy Howard是澳大利亚明星数据科学家、企业家和教育家。他曾担任Kaggle首席科学家，并创建了“开箱即用”的深度学习课程fast.ai，体现了“Make deep learning uncool”的教育理念，在业界广受赞誉。在此之前，他还曾创建并领导了Fastmail，Optimal Decisions Group和Enlitic等公司。

采访：李梦佳

谈技术普惠：AI学习并非少数人的特权

Q：你的教育理念是“Make deep learning uncool!” 能再详细阐释一下吗？ A：当我们谈论到某事物‘酷’时，英文用“cool”，中文用‘酷’来形容，中、英语言在含义上有所相似。我不完全确定中文中的‘很酷’是否也含有这种意味：在英语中，‘酷’这个词常带有一种排他性的暗示。它不只是代表某事物很棒，而且还蕴含着一种超越常人的特殊性。我们并不希望把学习变成一种仅限于少数人的特权。我们的目标是让学习变得开放和易于接触，让每个人都能够理解和应用。 因此，学习不应只局限于那种‘酷’的特质。它也不应该是令人惊叹或神秘的东西，不需要过度复杂。学习应该是直观和明了的，使人感觉‘这很有道理’，并能够在日常生活中找到应用。这才是我们追求的实用性。我们的目标是创造一种实用、高效、适合所有人的学习方式。
Q：作为fast.ai的创始人之一，请分享一下fast.ai库课程的初衷和目标是什么？为什么决定提供完全免费的深度学习课程？ A：我和我妻子联手创办了 fast.ai，课程只是项目中四个业务之一。自2016 年起，我们就明确了 fast.AI 的使命：致力于使深度学习与AI技术更为普及易懂。 为了避免只有少数人才能使用AI，因此我们便想着教更多人在自己的领域熟练部署AI。开设教学课程显然一种是有效手段。课程中我们向学员展示 AI 的最佳实践，教会他们用最小的低成本和最高的效率构建高优的模型。 我和妻子分工教学，她负责自然语言处理和线性代数方面，而我负责机器学习和深度学习。我们希望学员们不仅在课程中学到理论知识，更能将知识快速、高效应用于实践中。 Q：fast.ai课程以其接地气的风格而闻名，如何确保课程内容简洁易懂，让更多人从中受益？ A：我们投入了大量时间和精力打磨课程，例如每年我们只推出一到两门课程。我们追求的目标是如何将复杂的概念简单化，但化繁为简确实不易，实际上，没有哪个知识点是特别难以掌握的，关键在于找到合适的类比、例子以及步骤。 让知识“通俗易懂”一个秘诀是：保持实用性，并且提供大量的实例。 因此，我们很少使用复杂的数学公式。在通常会用到数学公式的地方，我们改用代码示例。每当展示代码示例时，我们都会现场实操运行这些代码。我们尽量确保每次运行的代码都控制在一两行之内，这样学生可以立刻看到结果。 通过这种方法，就能将复杂的概念拆解开来。我认为，当我们试图一次性掌握太多内容时，难度就会增加。所以，如果能把内容分割成小块，就更容易理解了。如果学生在学习过程中遇到困惑，他们可以随时回放视频，找到开始感到困惑的部分，进而逐步解决疑惑。

fast.ai主页：https://www.fast.ai/ 

 Q：fast.ai课程最重要的优势是什么？ 理论为辅，实践为主。课程设计始终将应用作为核心。先给学生讲授最直接、最实用的内容。让学生在完成第一节课之后，就可以立刻投入实践。 然后，课程会逐渐深入，步步为营地拓展学习深度。这与大多数课程不同，传统的课程往往像大学课堂一样，从基本概念开始，逐渐搭建起完整的知识体系，但直到课程结束，学生才可能接触到真正实用的知识。相比之下，我们采用的自上而下的学习方法，更受许多学生的青睐。 Q：对于零基础的学生需要先修习哪些知识才能正确使用fast.ai 课程？ A: 并不需要掌握太深的理论知识，但确实要求学生能有至少一年的编程经验，除此之外没有其他特别要求。 就算不懂编程，也可以通过借助ChatGPT 这类工具来实现入门与进阶。编程背景的重要性可能逐渐降低，但若想真正精通 AI ，依然需要一定的编程技能。 Q：fast.ai最近发布了新课程“From Deep Learning Foundations to Stable Diffusion”，要知道训练扩散模型通常需要大量计算资源，没有充足 GPU 的学生该如何学习这门课程？ A：实际上，这门课程只需一块 GPU 就足够了。你可以在 Google Colab 或类似的平台上运行。我相信中国也有很多公司和机构面向学生提供免费的 GPU 访问权限，因此计算资源不会成为学习这门课程的门槛。

智源社区获得MOOC课程平台Fast.ai的文字和视频全面授权，将于2月28日对外发布。首批入驻课程内容为《Practical Deep Learning for Coders》和《From Deep Learning Foundations to Stable Diffusion》，现招募两位组长和若干名译者成员，有意者请致邮editor@baai.ac.cn，并附上自我介绍。

报名预约课程

创立Answer.AI实验室，和AI大厂相比更专注实用性产品

 Answer.AI博客主页：https://www.answer.ai/ Q：你领衔创建了Answer.AI实验室，能否介绍一下？
A：众所周知，AI研究在不同的单位进行，比如Google、DeepMind、OpenAI这样的公司。在中国，还可能是北京智源人工智能研究院（BAAI）这样的机构、BAT等等。这些通过学术途径公开的研究，通常更偏重于理论，将它们应用于实际场景并创造实用价值并不总是很直接。因此，建立 Answer.AI 的目标是打造一个集研究与开发于一体的实验室。 在实验室的具体工作中，我们会先识别出那些对世界有好处的创新项目；然后想着如何用AI加速实现这些目标。我希望Answer.AI 所开展的都是关键研究，目标是让世界变得更好一点。当然，Answer.AI采取的是盈利模式，通过销售有用的创新产品来盈利，然后用获得的利润来开发更多好产品。毕竟，盈利是实现实验室可持续发展的必要因素。 Answer.AI 的核心目标是：使 AI 更易于接触和使用。虽然 fast.AI 也追求类似的使命，但 fast.AI 是非盈利组织，完全依赖我个人的资金，这种模式无法长期持续。因此，Answer.AI 旨在成为一个更加可持续的组织，在盈利的基础上，利用和最大化语言模型的潜力。理想情况下，我们希望开发出能直接向终端用户收取小额月费的产品。简而言之，我们的目标是发现人们的需求，生产并以盈利方式销售这些产品。 Q：你希望组建一个什么样的团队来实现这一目标？
A：我们的计划是建立一个规模较小、技能全面的团队。团队成员涉猎广泛，基础扎实，即擅长编程、善于解决问题，又具备高度创造性。他们可能源自各行各业，但期望他们在某个领域已经有了一些成绩，因为勤奋、智慧和创造力往往伴随着成功。当然，最看重的是他们是否能够通过自己的创造力、智慧和努力产生实际影响。 Q：与 Google、OpenAI 或 DeepMind 这样的大公司对比，Answer.AI 有哪些独特之处？ A：与专注于研究的 OpenAI、DeepMind 不同，我们更关注实用性。我们不会像 OpenAI 那样开发聊天机器人，但我们可能会开发出帮助孩子们学习国际象棋的工具，协助律师起草合同的应用。 Google虽然致力于开发基于 AI 的产品，但在实用性方面并不突出，他们花费了大量时间才追赶上 OpenAI 在聊天机器人方面的进展。因此我们和他们不一样，我们没有形式主义，更加注重创新、应用。

谈发展路径：开源，极佳的国家战略

Q：开源和闭源路径之争中，我们应该如何抉择？ A：闭源只能帮助创建它的公司，并且只有公司内部的人才能对其进行改进。而开源则能帮助整个社会，任何人都可以为其改进做出贡献。从其他软件领域的经验来看，开源在创造对社会有用的产品和服务方面更为成功。例如，大多数互联网都运行在开源的 Linux 操作系统上。大部分网页运行在Apache、Nginx和Caddy这些开源服务器上。我们的大多数电子邮件都存储和发送于开源服务器。 开源不是偶然，从互联网的发展历程看，它能帮助AI更快速、更高效的发展。目前来看，AI 的重要性可能会超过互联网。如果持续闭源发展，虽然少部分群体会获益，但社会总收益将有损失。紧接着，大学、机构无法使用代码和模型进行科研，社会创新持续减少，安全风险由于无法直接访问的模型也会不断增大。因此， AI 越发展，开源越有必要。 开源的重要性不分地区和国籍，中国、澳大利亚和美国都需要开源助推AI发展。尤其中国人极其重视家国情怀，如果中国能成为开源 AI 模型的主要力量，每个人都能对这些模型贡献自己的力量，那么在增添国家荣耀的同时，也能促进团结和进步。目前，最优秀的模型主要来自美国的 Google 和 OpenAI，澳大利亚和中国相对落后。但通过开源合作，我们可以快速赶超这些闭源模型。 因此，开源有助于打破闭源的垄断，我认为它是一个极佳的国家战略。这不仅对社会和社区有益，也意味着我们可以共同分享这项技术带来的好处。 Q：我们如何向大众宣传开源的益处？ A：如今许多顶尖的开源模型都是中国制造的。我们已经看到中国通过创造一些世界上最优秀的开源模型，这本身就是一个巨大的国家自豪感的来源。继续推动开源不仅是一种展示中国社会价值观的方式，也是避免技术价值被少数大公司垄断的重要策略。中国是一个注重社区和人民福祉的国家，推广开源符合这一理念。 推广开源的过程可能会很艰苦，因为很多公司更关注盈利和竞争。例如，在 AI 领域，他们可能会尝试说服政府赋予他们某种形式的垄断权，就像 OpenAI 鼓励政府制定对他们有利的法规，增加竞争对手的难度。因此，我们这样的社区团体需要共同努力，反对这种垄断。 Q：在整个开源产业链当中，有哪些工具、系统仍然稀缺，尚需填补哪些空缺？ A：开源 AI 软件面临易用性的挑战。这些软件通常由对技术充满热情的工程师开发，更多地考虑他们自己和同行的需求，而非普通用户的实际需求。因此，尽管在创建和训练模型方面优于闭源软件，开源软件的用户门槛仍然偏高，这是其主要问题。 此外，运行 AI 训练或推理需要高性能 GPU，但由于美国对中国市场高端 GPU 的限制，这成为了中国研发更优产品的契机。就像华为在面临限制时的表现一样，中国有潜力开发出性能更好、价格更优的 GPU。 无论软件多优秀，如果硬件成本过高，仍是一个重大障碍。AI 领域的快速发展意味着技术更新换代非常迅速，如何在保持尖端技术的同时提升软件的易用性和可访问性是一个挑战。引入更多人机交互（HCI）领域的专家，开发出更符合人类需求的友好界面，将极大地促进软件的普及。软件开发不应仅限于数学家和计算机科学家，而是需要更多理解人类需求的专家参与，使软件更加人性化。

谈大模型潜力：微调是关键

Q：如何评价目前流行的开源模型？优势和劣势是什么？ A：在目前最优秀的开源模型中，有一款非常出色的是由开复团队开发的Yi-34B模型。它规模达到了 34B，相对容易获取，可以在常规电脑上运行。但这个模型的一个主要问题是，它并非真正意义上的开源，因为在商业用途上的使用需要申请许可，这是目前的一个限制。 Llama 2 模型现在略显过时，已经被Mistral 模型超越了。尽管 Mistral 模型没有Yi-34B那样大的规模，仅有 7B，但它正快速发展和进步，非常令人期待。 我注意到的一个问题是，为了使这些模型有效工作，需要进行微调。我观察到的多数成功的微调工作似乎都在美国进行。虽然中国在基础模型的开发上贡献巨大，但在微调这一关键部分似乎做得不够多，这实际上更为重要，因为这是使模型真正有效工作的关键所在。这是一个任何人都能贡献的领域。因此，社区可以尝试开发更优的微调模型，尤其是在中英双语数据方面，这将成为一个极具价值的社区项目。

谈人才培养：编程要从娃娃抓起

Q：如何看待AI普及教育和面向未来的AI人才培养？
A：我认为，这个问题应该从两个截然不同的角度来考虑。首先，我们要思考如何将 AI 融入日常生活。其次，则是探讨如何推动 AI 技术的前沿发展。 我特别关注的一个现象是，在美国和澳大利亚，很多教师反对利用 AI 辅助写作。不知道在中国是否也有这种情况？在我看来，应该鼓励学生积极使用AI。因为，如果 AI 能助他们一臂之力，他们未来的工作肯定也离不开 AI 的帮助。反之，如果 AI 无济于事，学生现在就应该认识到它的局限。 禁止使用 AI，无异于禁止使用计算机或互联网，等于剥夺了学生掌握工作和学习中关键工具的机会。 对于老师来说，AI代表了一场巨大的变革。老师应该走出舒适区，致力于提升学生的竞争力。我们应该教会学生如何使用这项技术。培养学生自己开发 AI 模型和解决方案的能力，关键在于编程教育，因此编程要从“娃娃”抓起。 数学的某些分支，比如线性代数和微积分，对于 AI 来说非常重要。我建议在高中和大学阶段重点学习这些课程。如果你精通线性代数、微积分和编程，你就有机会成为一名杰出的 AI 研究员和实践者。 Q：当前AI教育模式存在哪些弊端？如何看待大多数 AI 教育资源都集中在顶尖机构和大学手中？ 

 A Hackers’ Guide to Language Models：https://www.youtube.com/watch?v=jkrNMKz9pWUA：在线课程或许能填补一些目前教育弊端。例如我们提供出色且免费的课程。在西方，YouTube 上有大量优秀的视频内容跟进AI最前沿的技术动态。最近，我在YouTube上发布了视频《A Hackers’ Guide to Language Models》的视频，看完这90分钟的视频就能获得关于语言模型的所有知识点。 我想谈谈AI领域的版权问题。众所周知，AI模型需要数据进行训练，而数据受版权保护。在西方，为数据版权付费的问题，争论非常激烈。在美国的社会格局中，更倾向于个人权益优先于集体。在这样的背景下，法院可能会判定模型训练者支付版权费，然而这限制了AI技术的发展。 而在中国。情况可能恰恰相反，人们更可能认为应该重视集体利益。因此，在这类情境下，中国可能会采取不同的措施。我认为，中国可以考虑避免盲目跟随西方那种可能会限制社会利用这些模型权利的版权法路线，因为这可能会损害社会整体利益。 据我了解，为了符合世界知识产权组织（WIPO）的标准，中国曾对版权法规进行了修改。当年的法规并没有特别针对语言模型。因此，是否可以使用受版权保护的信息来训练语言模型，这还需要法院和立法者来解释。

谈兴趣学习：中文学习打开AI科研新视角

Q：你曾在中国学习语言，能谈谈那段学习经历么？ A：我曾在北京语言大学学习过一段时间，我时常怀念那段时光。 当年，为了更深入地理解机器学习，我开始了解人类学习的过程。我计划投入了10年的时间去学习汉语，目的是深入探索人类学习的本质。这段经历对我来说非常宝贵。虽然最初学习汉语只是为了更好地理解人类如何学习，但很快我就发现，汉语、中国的历史和文化本身极具魅力。这不仅仅是学习一门语言那么简单，它实际上为我打开了通往一个全新世界的大门。

 Q：如何下决定学习中文的？ A：其实没啥特别的原因，我只是觉得自己需要一个能持续10年的挑战性项目。CIA将阿拉伯语、汉语和日语评为英语母语者三大最难学的语言。我对阿拉伯语不太感兴趣，而关于日本文化，我已经有了一定的了解。因此，我想学习中文可能会很有趣，于是我就开始了学习中文的旅程。 这个决定带来了意想不到的惊喜。比如，每学习一个新的成语，就仿佛揭开了一个全新的故事的序幕。这些成语不仅是语言的组成部分，更是那个时代文化和艺术的体现。当我去中国时，我惊讶地发现我的中国朋友对西方历史和文化有深入的了解。而在我们这里，大多数欧美人对中国的历史和文化所知甚少。这是一个全新的世界，既启发我，也给我带来了极大的喜悦。我为自己能拥有这样的经历感到非常幸运。 Q：中文学习对你的计算机研究有何帮助？
A：的确有帮助。学习中文需要掌握大量的汉字，因此，我投入了大量的时间来学习大约6000个汉字。为了高效学习，我不得不发展出多种策略。我认为，我当时制定的一些语言学习方法对我非常有益。虽然我无法具体说明这如何直接影响我的计算机科学研究，但我确信人类语言学习和计算机的学习方式有许多相似之处。因此，这段学习经验为我提供了宝贵的视角，帮助我思考如何更有效地学习新概念。 Q：请你分享关于深度学习的建议和经验，尤其是对于初学者。 A：我想对刚入门深度学习的初学者说，要记住，深度学习仍然是一个较新的领域。当前这个领域的许多专家也是从初学者起步的。一开始，虽然一切似乎都充满神秘和复杂性，但请相信，你终将能够理解并赶上进度。
我的建议是，不要过度沉溺于数学理论，也不必太担心数学问题。应当将重心放在编程和实际项目构建上。最开始不完全理解每个细节也是正常的，关键在于多加实践和尝试。深度学习不仅是一门艺术和工程学科，更是一种科学。因此，我建议你把重点放在实践和工程方面，把它当作一种手艺来对待。就像陶艺家或陶工一样，他们虽然可以了解很多制作陶器的理论，但真正关键的是动手实践。如果你想制作精美的陶瓷或高质量的模型，就需要制作出大量的作品。正如第一次尝试制作陶器时可能会出现瑕疵一样，你初期训练的模型可能也不会太完美。但关键是不要放弃，只要坚持，就意味着你在不断地学习和进步。

更多内容 尽在智源社区