斯坦福大学研究大语言模型中的推理何时和为何有帮助的问题

1,286次阅读
没有评论

标题:Why think step-by-step? Reasoning emerges from the locality of experience

作者:Ben PrystawskiNoah D. Goodman

[Stanford University]

简介:

人类有一种强大而神秘的推理能力。通过一系列纯粹的思维步骤,我们可以做出我们无法直接做出的推论–尽管事实上我们没有从世界上获得额外的数据。同样地,大型语言模型可以通过思维链推理在复杂的任务中表现得更好,在回答问题之前,它们会产生中间步骤。

我们使用语言模型来研究推理何时和为何有帮助的问题,测试了这样的假设:当训练数据由相互影响强烈的局部变量群组成时,推理是有效的。这些训练条件能够使准确的局部推理连锁化,以估计训练中没有一起出现的变量之间的关系。我们对来自贝叶斯网定义的联合分布的样本进行自回归变换器的训练,但只包括每个样本中所有变量的一个子集。

我们比较了有无中间推理步骤的语言模型匹配条件概率的能力,发现只有当训练数据在变量之间的依赖关系方面是局部结构时,中间步骤才有帮助。此外,中间变量需要与观察信息和目标推理之间的关系相关。我们的结果说明了训练数据的统计结构如何驱动推理步骤的有效性。

https://arxiv.org/pdf/2304.03843.pdf

 

斯坦福大学研究大语言模型中的推理何时和为何有帮助的问题

斯坦福大学研究大语言模型中的推理何时和为何有帮助的问题

 

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)

文心AIGC

2023 年 4 月
 12
3456789
10111213141516
17181920212223
24252627282930
文心AIGC
文心AIGC
人工智能ChatGPT,AIGC指利用人工智能技术来生成内容,其中包括文字、语音、代码、图像、视频、机器人动作等等。被认为是继PGC、UGC之后的新型内容创作方式。AIGC作为元宇宙的新方向,近几年迭代速度呈现指数级爆发,谷歌、Meta、百度等平台型巨头持续布局
文章搜索
热门文章
清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开

清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开

清库存!DeepSeek突然补全R1技术报告,训练路径首次详细公开 Jay 2026-01-08 20:18:...
训具身模型遇到的很多问题,在数据采集时就已经注定了丨鹿明联席CTO丁琰分享

训具身模型遇到的很多问题,在数据采集时就已经注定了丨鹿明联席CTO丁琰分享

训具身模型遇到的很多问题,在数据采集时就已经注定了丨鹿明联席CTO丁琰分享 衡宇 2026-01-08 20:...
手把手教你用AI 10分钟生成一个APP!零基础也能搞定

手把手教你用AI 10分钟生成一个APP!零基础也能搞定

今日,我将向大家展示DeepSeek的全新玩法——从零开始,利用AI创建一个完整的应用程序。借助DeepSee...
开源“裸考”真实世界,国产具身智能基座模型拿下全球第二!

开源“裸考”真实世界,国产具身智能基座模型拿下全球第二!

开源“裸考”真实世界,国产具身智能基座模型拿下全球第二! 西风 2026-01-08 19:02:20 来源:...
最新评论
ufabet ufabet มีเกมให้เลือกเล่นมากมาย: เกมเดิมพันหลากหลาย ครบทุกค่ายดัง
tornado crypto mixer tornado crypto mixer Discover the power of privacy with TornadoCash! Learn how this decentralized mixer ensures your transactions remain confidential.
ดูบอลสด ดูบอลสด Very well presented. Every quote was awesome and thanks for sharing the content. Keep sharing and keep motivating others.
ดูบอลสด ดูบอลสด Pretty! This has been a really wonderful post. Many thanks for providing these details.
ดูบอลสด ดูบอลสด Pretty! This has been a really wonderful post. Many thanks for providing these details.
ดูบอลสด ดูบอลสด Hi there to all, for the reason that I am genuinely keen of reading this website’s post to be updated on a regular basis. It carries pleasant stuff.
Obrazy Sztuka Nowoczesna Obrazy Sztuka Nowoczesna Thank you for this wonderful contribution to the topic. Your ability to explain complex ideas simply is admirable.
ufabet ufabet Hi there to all, for the reason that I am genuinely keen of reading this website’s post to be updated on a regular basis. It carries pleasant stuff.
ufabet ufabet You’re so awesome! I don’t believe I have read a single thing like that before. So great to find someone with some original thoughts on this topic. Really.. thank you for starting this up. This website is something that is needed on the internet, someone with a little originality!
ufabet ufabet Very well presented. Every quote was awesome and thanks for sharing the content. Keep sharing and keep motivating others.
热评文章
NVIDIA 发布全新物理 AI 模型,全球合作伙伴展示新一代机器人

NVIDIA 发布全新物理 AI 模型,全球合作伙伴展示新一代机器人

NVIDIA 发布全新物理 AI 模型,全球合作伙伴展示新一代机器人 梦晨 2026-01-07 17:25:...
杜比在CES 2026重塑了观影、娱乐的方式

杜比在CES 2026重塑了观影、娱乐的方式

杜比在CES 2026重塑了观影、娱乐的方式 十三 2026-01-07 12:47:06 来源:量子位 树立...
OceanBase蝉联中国分布式数据库本地部署市场第一,领跑国产数据库

OceanBase蝉联中国分布式数据库本地部署市场第一,领跑国产数据库

OceanBase蝉联中国分布式数据库本地部署市场第一,领跑国产数据库 闻乐 2026-01-07 12:36...
三赴CES,睿尔曼以三大底层能力构建全球化具身智能新基建

三赴CES,睿尔曼以三大底层能力构建全球化具身智能新基建

三赴CES,睿尔曼以三大底层能力构建全球化具身智能新基建 十三 2026-01-07 14:07:17 来源:...
刚开年,马斯克就到账了200亿美金!

刚开年,马斯克就到账了200亿美金!

Failed to fetch content Read More