吴恩达、Geoffrey Hinton 、Yann LeCun等关于人工智能的担忧

​

吴恩达的最新推文认为他对人工智能未来最担心的是：一些被极度夸大了的风险（例如人类灭绝的可能性）可能会成为技术游说者推动实施过于严格、限制开源活动并打击创新热情的法规的借口。

Geoffrey Hinton 让他给个量化的数据：

“那么你认为，在未来 30 年内，如果我们不对 AI 实施严格的管控，它导致人类灭绝的可能性有多大呢？作为一个真正的贝叶斯主义者，你应该能够给出一个具体的数字。我个人目前的估计是 0.1。而我觉得 Yann 给出的估计可能会低于 0.01。”

Yann LeCun 也回复了：

我认为，与其他许多可能导致人类灭绝的原因相比，人工智能导致这一结果的可能性要小得多。因为在这个问题上，我们有能力进行干预和控制，这并不是一种我们无法避免的自然灾害。

反过来说，人工智能其实还有可能成为拯救人类、避免灭绝的关键力量。你觉得这种积极结果发生的可能性有多大呢？

twitter.com/ylecun/status/1719475457265938604

然后他刚又发了一条长推文，以下是他长推文的翻译：

我们迫切需要制定一些法律，来确保人工智能（AI）应用的安全性、公平性和透明度。然而，白宫目前通过《国防生产法》来处理这个问题，而这通常只在战争或国家紧急状况下才会启用。这样的做法从安全的角度对 AI 进行了歪曲的解读，比如说把“开发可能严重威胁国家安全的基础模型的公司”这种情况特别强调出来。

没错，AI 确实和电力、加密技术等许多科技一样，有其双刃剑的一面，既可以用于民间，也可以用于军事。但把民用 AI 的安全性和军事应用混为一谈，这种做法是错误的。

另外，根据模型训练的计算量来设定报告标准也是不妥当的，这会对开源和创新造成阻碍：一方面，今天的超级计算机未来可能变得和怀表一样普及；另一方面，随着时间的推移，政府的报告要求通常会变得更加繁琐（你可以回想一下税法是越来越简单了，还是越来越复杂了？）。

正确的做法应该是在应用层面来规范 AI，我们应该要求各类 AI 应用，比如贷款审批软件、医疗应用、自动驾驶、聊天应用等等，都要达到严格的标准，甚至通过一些审核来确保其安全性。但如果我们在基础模型的开发阶段就增加过多的负担，那么 AI 的进步将会被不必要地拖慢。

虽然白宫目前的命令还没有对初创公司和开源项目造成太大影响，但它似乎是在朝这个方向走去。当这些政策细节逐渐变得清晰时，我们可能会看到很多错误的做法出现（毕竟，游说者也会参与其中）。我对制定良好的法规以促进负责任的 AI 发展持欢迎态度，并希望白宫能够朝着这个方向努力。

​Read More