伯克利大学AI安全中心：自然选择对人工智能比对人类更有利（含44页PDF下载）

​

数十亿年以来，进化一直是生命发展的驱动力，包括人类。进化赋予了人类高智商，使我们成为了地球上最成功的物种之一。如今，人类旨在创造超越自身智能的人工智能系统。随着人工智能（AI）的发展，它最终将在所有领域超越我们，进化又将如何影响我们与人工智能的关系呢？

通过分析正在塑造人工智能进化的环境，我们认为，最成功的AI代理程序可能会具有不良特质。公司和军方之间的竞争压力将催生出自动执行人类角色、欺骗他人、获取权力的AI代理程序。如果这样的代理程序具有超过人类的智能，这可能导致人类失去对自己未来的控制。更抽象地说，我们认为，自然选择作用于竞争和变异的系统，自私的物种通常比对其他物种利他的物种更具有优势。这种达尔文逻辑也可以应用于人工代理程序，因为代理程序最终可能更能够坚持进入未来，如果它们自私地行事并追求自己的利益，对人类来说可能会带来灾难性的风险。为了抵消这些风险和达尔文力量，我们考虑了干预措施，比如精心设计AI代理程序的内在动机、对其行为引入一定的限制以及鼓励合作的制度。这些措施或其他能解决我们所提出的问题的措施将是必要的，以确保人工智能的发展是积极的。

标题：Natural Selection Favors AIs over Humans

作者：Dan Hendrycks

论文：

https://papers.labml.ai/api/v1/redirect/pdf?paper_key=40a3ec82cdcc11edb95839eec3084ddd

下载（共44页）：

https://event-cdn.baai.ac.cn/file/file-browser/Hc5rb6JRCyRdGJsDxkKmkttffQAxT4Fd.16200.pdf 

​Read More