PNAS 速递：增量语言产生中的信息论原则

关键词：语言产生过程，信息论，控制论，强化学习

论文标题：Information-theoretic principles in incremental language production论文来源：PNAS斑图链接：https://pattern.swarma.org/paper/a7584726-574b-11ee-9a25-0242ac17000d原文链接：https://www.pnas.org/doi/10.1073/pnas.2220593120
理解语言产生过程以及这些过程所受的计算约束是研究思维、语言和交流的关键挑战，关于语言产生的实证研究已经揭示了这是一个主要是增量的过程：说话者不会从头到尾规划完整的话语，而是在说话的过程中规划它，同时整合与他们的语言约定、听众的实际和可能的反应以及他们自己的交际目标有关的信息，而所有这些都在导致困难和错误的计算约束下进行。
文章运用了一个最近出现的关于动作选择复杂性的视角，即速率失真的控制理论（rate–distortion theory of control, RDC），提出一种关于人类语言产生中错误和困难的计算层面模型，该模型基于信息论和控制论，提供一个统一的语言产生视角，与强化学习和更一般的信息论模型在形式上相关。
图1 基于 RDC 的语言生成策略示例和示意图。
语言产生被视为为实现沟通目标而进行的顺序动作选择，受到认知控制容量约束的影响，通过一系列的计算、模拟、语料库分析以及与实验数据的比较，作者展示了这个模型直接预测了语言产生中已知的一些主要定性和定量现象，包括词汇选择中的语义干扰和可预测性效应；在词语顺序变化中基于可访问性的产生偏好；以及包括填充性停顿、更正和起始失误在内的言语流畅性的存在和分布。
图2 在广泛的参数值范围内，RDC 策略显示出先短后长的偏好。

图3 当控制增益较低时，RDC 模型会预测难词前的填充停顿、错误后的纠正和错误启动。

文章将速率失真视角与现有的人类语言产生模型、语义学和语用学的概率模型以及机器学习和强化学习文献中有关受控语言生成的提议联系起来。

编译｜董佳欣

NeuroAI读书会

详情请见：

NeuroAI 读书会启动：探索神经科学与人工智能的前沿交叉领域

推荐阅读

‍1. Nat. Mach. Intell. 速递：测试用于预测人类语言判断的自然语言模型的极限2. Sci. Adv. 速递：陌生人社会的语言复杂度并不会更低3. Sci. Adv. 速递：说不同语言的人有不同的视觉感受4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程5. 成为集智VIP，解锁全站课程／读书会6. 加入集智，一起复杂！

点击“阅读原文”，报名读书会

​