新智元报道
编辑:alan
【新智元导读】走过了2023,ChatGPT在人们的视线中喧闹了一整年,这一年我们的人工智能经历了什么?同时对于2024的生成式AI,又有哪些期待呢?
2023年11月30日,ChatGPT庆祝了它的生日,Similarweb发布了下面这张精美的信息图来纪念这一时刻。
从ChatGPT诞生,到2023年5月,它的访问量一直在迅速增长,峰值达到了每月18亿次的访问量。
随后,客流量在6月有所下降,但自9月以来又开始反弹——可能是因为高中生和大学生暑假结束,回到学校了。
去年的这个时候,很多人都在猜测ChatGPT是否会取代谷歌,很显然,这件事还没有发生。
而在两周前,谷歌发布了ChatGPT的竞争对手——Gemini。
2022年末ChatGPT发布的时候,人们对人工智能,尤其是2023年的生成式人工智能充满了期待。
你可以让ChatGPT用Johnny Cash的风格写一首关于自动驾驶汽车的歌:
Ridin’ solo, but I’m never alone,
Got my AI ridin’ shotgun, steady as a stone.
On the endless road, under the sky so vast,
A ghost driver at the wheel, footprints of the past.
独自骑行,但我从不孤单,
我的人工智能像石头⼀样稳如泰山。
在无尽的道路上,在辽阔的天空下、
一个幽灵司机驾驶着方向盘,留下了过去的脚印。
如果让他换成Giuseppe Verdi的风格,ChatGPT会展示出男高音歌唱的场景:
Ecco la carrozza senza cavallo!(看,没有马的马车!)
Scivola nella notte, silenziosa come il fato.(它在黑夜中滑行,像命运⼀样无声无息)
L’ingegno dell’uomo, l’orgoglio del progresso.(人类的智慧,进步的骄傲)
In questa danza d’acciaio, tessiamo il nostro destino.(在这支钢舞中,我们编织自己的命运)
上面这张图展示了自ChatGPT发布以来,谷歌趋势对AI和ChatGPT的关注情况。
我们可能听说过「人工智能寒冬」的那个年代,但今年,风险投资公司向生成式人工智能投资了超过360亿美元。
毫无疑问,2023年是人工智能的盛夏。
一月份,人们开始探索ChatGPT的功能。很快,大家意识到不同的提问方式(「提示」)会导致不同的答案。
于是,「提示工程」悄然兴起。
连大佬也感慨道,最热门的新编程语言是英语。
然而,当普通大众还在为ChatGPT的能力惊叹不已、探索不同的提示技术之时,研究人员并没有休息。
2023年第一季度,许多⼈都感觉跟不上人工智能的发展速度:
2月底,Meta发布了LLaMA,
紧接着,AI21 Labs发布了Jurassic-2,
OpenAI发布了GPT-4,
Anthropic发布了Claude,
技术创新研究所(Technology Innovation Institute)发布了Falcon-40B,
谷歌发布了Bard,
连彭博也发布了自己的BloombergGPT。
随着开发⼈员熟悉了ChatGPT的玩法,他们开始构想可以利用LLM做些什么,——于是,求职信生成器、YouTube摘要、定制的聊天机器⼈等应用纷纷出现。
与传统的机器学习模型相比,大语言模型使开发⼈员能够通过简单的 API 调用来访问其功能。这改变了开发人员构建人工智能应用程序的方式。
伴随着这种快速构建人工智能应用程序的新方法,新的开发工具也陆续出现:
LangChain和LlamaIndex等框架引起了人们的极⼤兴趣,这些框架使开发⼈员能够快速、模块化地使用LLM构建应用程序。
另外,可以实现语义搜索的矢量数据库,又重新受到关注,因为开发人员发现,它也可以用来为LLM应用程序提供外部数据。
早在今年4月,实践者们就开始将LLM应用程序投入生产过程中,并讨论成本、延迟、幻觉以及前后兼容性等挑战。
「用LLM做出很酷的东西很容易,但做出可投入生产的东西却很难」。
在2023年,构建LLM系统的关键词或许应该是:微调(fine-tuning)、检索增强生成(retrieval-augmented generation,RAG)和评估(evaluation)。
从数据科学家的角度来看,微调是向神经网络传授新知识的首选技术,因此,微调是让通用LLM访问特定领域数据的第一种流行方法。
特别是随着开源LLMs(如LLaMa-2)和高效LLMs微调技术(如QLora)的发布,LLMs的微调变得更容易为实践者所接受。
上图是谷歌趋势对「RAG LLM」的兴趣变化曲线,可以看出RAG在2023年7月左右成为热门话题。
RAG将知识从LLM的推理能力中分离出来,存储在外部数据库中,这比使用微调功能时更容易更新。
然而,回顾2023年,我们可能会惊讶地发现,由LLM驱动的应用软件少之又少。
毕竟,在生成式AI展现出自身性能的同时,也面临着很多问题。
例如,谷歌的Bard「发明」了有关James Webb望远镜的信息。微软的Bing坚称歌手Billie Eilish参加了2023年超级碗中场秀。
而一位律师表示,他的联邦法院辩护状充满了ChatGPT提供的虚假引文和捏造的司法意见。
虽然知道聊天机器人会犯错,但高中生和大学生仍是聊天机器人最狂热的使用者,他们使用聊天机器人来撰写论文、完成问题集和编写代码。
对此,学校管理者也同样矛盾,他们无法判断聊天机器人到底是欺骗工具还是学习工具。
今年1月,纽约市学校校长David Banks禁止了ChatGPT,因为聊天机器⼈ 「不能培养批判性思维和解决问题的能力」,
而在四个月后,David Banks又推翻了这一禁令,并表示自己「忽视了生成式人工智能在支持学生和教师方面的潜力」。
3月,OpenAI的联合创始人Greg Brockman曾预测,未来的聊天机器⼈将帮助编写电影剧本,并改写观众不喜欢的场景。
而两个月后,美国作家协会举行了罢工,要求签订合同,保护人们免受人工智能生成的烂片之害。
9月,编剧们结束了罢工,电影公司放弃人工智能剧本,
同时,作家协会联合一些著名小说家对OpenAI提起了集体诉讼。他们表示,OpenAI在未经同意的情况下,在训练数据中使用了他们的版权作品。
虽然已经有⼀些生成式人工智能应用,如亚马逊的产品摘要功能,但许多公司仍在试验和评估其解决方案。
从这个意义上讲,2023年也可以说是尝试和了解生成式人工智能的一年。
对2024的期待
11月的时候,OpenAI宣布了一套新的产品,其中包括一个自建聊天机器⼈套件。
在新工具的帮助下,我们可以利用ChatGPT轻松创建一个聊天机器⼈。
它能确定哪些药物不能一起服用,还能列出特定地点所有满足特定条件的餐厅。
制作这些聊天机器人的方法既直观又简单,——但我们对驱动它们的算法、训练数据的来源、以及聊天机器人生成的信息是否准确都一无所知。
我们也不知道自己使用了多少计算能力,对环境造成了多大影响。
未来,生成式人工智能的商业发展可能会有增无减。人工智能将影响越来越多的复杂活动,如放射学、药物研发、心理治疗、招聘和大学录取等。科技公司也将在下一代硬件中植入人工智能。
也许在2024年,生成式人工智能解决方案将真正投入生产。
——我们会在生活中遇到越来越多的由LLM驱动的功能。
许多框架、度量标准和范式将不断发展,如何评估和监控由LLM驱动的应用,会成为一个更热门的讨论话题。
人们将学会如何正确衡量RAG、问答系统和聊天机器人的性能,并有可能会找到改善性能的新技术。
随着这些生成式人工智能系统性能的成熟,将有越来越多的生成式人工智能应用,来帮助我们提高生产效率和改善用户体验。
另外,减少数据泄漏和保护敏感数据这一话题也将变得比以往更加重要。
可以肯定的是,2024年将会发生很多变化。而现在,正是积累经验的好时机。
参考资料:https://towardsdatascience.com/2023-in-review-recapping-the-post-chatgpt-era-and-what-to-expect-for-2024-bb4357a4e827