State of Report 至今已是第六个年头,成为了人工智能领域的风向标,它由业界和研究领域的领先人工智能从业者撰写,除了总结过去,也会对未来发展进行很多预测。
今年的报告汇总由投资人 Nathan Benaich、Alex Chalmers、Othmane Sebbouh 和 Corina Gurau 编写。报告从研究进展、行业局势、现有政策、安全问题、未来预测五个维度出发,对最新的 AI 发展现状和未来预期进行了深度分析。
OpenAI 的 GPT-4 在发布八个月后仍然是最强的大语言模型(LLM),「在经典基准测试和旨在评估人类的考试上都击败了所有其他大模型。」然而报告指出,随着尖端人工智能系统变得更加强大和灵活,比较它们会变得越来越困难。
与此同时,报告认为到 2023 年,人工智能公司公开分享其最先进研究的文化将结束。报告称,OpenAI 拒绝分享有关 GPT-4 系统架构的「任何有用信息」,谷歌和 Anthropic 对他们的模型也做出了类似的决定,「随着成本升高和对安全担忧的加剧,传统上开放的科技公司已经接受了对其最前沿研究不透明的文化。」
官网地址:
https://www.stateof.ai/2023-report-launch.html
下载地址:
https://docs.google.com/presentation/d/156WpBF_rGvf4Ecg19oM1fyR51g4FAmHV3Zs0WLukrLQ/edit?usp=sharing
主要结论:
1、研究进展
-
在 LLaMa-1/2 的支持下,越来越多的人试图用更小的模型、更好的数据集、更长的上下文来克隆或击败专有模型;
-
目前还不清楚人类生成的数据能维持人工智能扩展趋势多久(有人估计,到 2025 年,数据将被 LLM 耗尽),也不清楚添加合成数据会产生什么影响。企业中的视频和数据可能是下一个目标;
-
LLM 和扩散模型通过为分子生物学和药物发现带来新的突破,继续为生命科学界提供助力;
-
多模态成为新的前沿,各种智能体热度大大增加。
2、行业局势
- 英伟达凭借各国、初创公司、大型科技公司和研究人员对其 GPU 的巨大需求,跻身市值万亿美元俱乐部;
- 主要芯片供应商开发了不受出口管制影响的替代产品;
- 在 ChatGPT 的带领下,GenAI 的应用程序在图像、视频、编码、语音或 CoPilots 等领域取得了突破性的进展,带动了 180 亿美元的风险投资和企业投资。
3、现有政策
-
世界已划分出明确的监管阵营,但全球治理的进展仍较为缓慢,最大的人工智能实验室正在填补这一空白;
-
据预测,人工智能将影响一系列敏感领域,包括选举和就业,但我们还没有看到显著的影响。
4、安全问题
-
关于生存风险的讨论首次进入主流,并明显加剧;
-
许多高性能的模型很容易「越狱」,为了解决 RLHF 的挑战,研究人员正在探索替代方案,例如自对齐(self-alignment)和带有人类偏好的预训练;
-
随着模型性能的提升,一致地评估 SOTA 模型变得越来越困难。
更多详情:https://mp.weixin.qq.com/s/e_b7jIYkX6rEEeeLkiwfnw