Nat. Commun.速递：海马网络模型中的潜在表征与任务结构的行为探索共同进化

关键词：计算神经科学，认知地图，海马网络模型，强化学习

论文题目：Latent representations in hippocampal network model co-evolve with behavioral exploration of task structure论文期刊：https://www.nature.com/articles/s41467-024-44871-6论文地址：Nature Communications斑图地址：https://pattern.swarma.org/paper/ff0cee8a-ba43-11ee-bc79-0242ac17000e
为了成功学习真实的行为任务，动物必须将决定或动作与任务复杂的结构配对，这需要对感觉刺激和内部逻辑进行抽象组合。众所周知，海马体能够表征这种复杂结构，形成所谓的“认知地图”。然而，我们还不清楚在神经元群体水平上，任务相关认知地图出现的具体生物物理机制。
在这篇最近发表在 Nature Communications 的文章中，作者提出了一个模型，其中单细胞层次的基于平台电位的学习（plateau-based learning）与个体层次的强化学习相结合，使得海马网络的潜在表征结构在特定任务中与行为共同演化。作者证明了该模型能成功建立解决任务所必须的隐结构（依赖于线索的神经元编码模式），且模型结果与最近的实验结果一致。
具体来说，为了验证海马（hippocampus，HPC）如何学习任务依赖的表征，作者建立了一个“三阶段闭环模型”（如图1e），第一阶段包含外界信息，第二阶段是一个海马神经元网络模型，它既接受外界信息，又接受内部的循环输入，这个网络的信息投射到第三阶段，即一群“动作”神经元，来指定主体在这个环境下的决定。海马网络中的每个神经元都有三个区室——胞体、尖端树突和基底树突（如图1d），其中基底树突接受外部信息输入，尖端树突通过一个循环权重矩阵Wij接受其他神经元胞体的反馈输入，胞体接受这两种树突区室的输入，二者的比例由调节因子β确定，使得神经元胞体既能够独立于环境表征信息又能够产生环境敏感的表征。根据生物的实验结果：CA1中位置编码的形成在所谓的平台电位之后，模型中的学习包含依赖于平台电位的三条规则。这些规则使网络能够重新组织相继激活的状态表征对，将依赖于历史和抽象环境的策略表述为马尔科夫的。
图1：三区室海马神经元中的反馈能够产生环境敏感的表征。
为了测试该模型，作者仿照Zhao et al.的实验范式，设置了一个Y形迷宫环境（如图2a），在主体走进路C之前会出现两种提示A或B之一，然后主体走到C的尽头选择走到D或者E。线索依赖任务中的奖励方式如图2c，随机任务中的奖励方式如图2d。在两种任务中，作者使用同样的人工方法，使得一半细胞在A出现后得到与空间位置相关的的平台电位，另一半在B出现后得到（如图2b）。作者观察到，在线索依赖任务中，他们的海马模型中的神经元发展出了与实验操作逻辑相吻合的“分裂（split）”表征。作者比较了主体行为和模型内部状态表征在学习过程中的动态演化过程（如图3），发现行为和表征是共同演化的。他们又接着检查了二者在训练后的的相互依赖关系，证明了状态表征和行为是相互作用和制约的，它们之间的协同提升推动任务训练过程。破坏任一方面都将降低表现。
这项模型研究为海马体“认知地图”理论提供了计算框架下的解释，拓展了我们对海马功能的理解。
图2：在特定任务结构下发现的“splitter”编码模式。
图3：行为和表征迭代地相互改进。
图4：表征的偏好导致策略的偏好。

编译｜汪显意

计算神经科学读书会

详情请见：计算神经科学读书会启动：从复杂神经动力学到类脑人工智能

‍推荐阅读1. 人类海马体在计划和导航过程中的目标导向表征 | Nat.Commun.速递2. Nat. Commun. 速递：自然事件编码和回忆过程中皮质-海马表征的灵活重用3. 大脑中相互作用的螺旋波模式与认知处理有关 | Nat. Hum. Behav. 速递4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程5. 加入集智学园VIP，一次性获取集智平台所有内容资源6. 加入集智，一起复杂！

点击“阅读原文”，报名读书会