Nat. Mach. Intell. 速递：空间嵌入式循环神经网络揭示结构和神经功能发现之间的广泛联系

关键词：类脑计算，空间嵌入，小世界网络，模块化

论文题目：Spatially embedded recurrent neural networks reveal widespread links between structural and functional neuroscience findings论文期刊：Nature Machine Intelligence斑图地址：https://pattern.swarma.org/paper/8f0edd32-87f8-11ee-bc79-0242ac17000e论文地址：https://www.nature.com/articles/s42256-023-00748-9
生物大脑网络受到资源的限制。因此，脑网络必须克服在其物理空间内生长和维持网络的新陈代谢成本，同时进行所需的信息处理。为了观察这些过程的效果，这项研究引入空间嵌入递归神经网络（seRNN）。seRNNs 在三维欧几里得空间中学习与任务相关的基本推理，在这个空间中，组成神经元的通信受到稀疏连接组的限制。
研究发现，seRNNs 在结构和功能特征上趋于一致，而这些特征在灵长类动物大脑皮层中也很常见。具体来说，它们趋同于使用模块化的小世界网络来解决推理问题，在这种网络中，功能相似的单元在空间上进行自发配置，以利用能量高效的混合选择编码。由于这些特征是一致出现的，seRNNs 揭示了许多常见的大脑结构和功能模式是如何紧密地交织在一起，可作为神经科学和人工智能的桥梁。

图1：a）在人工神经网络训练过程中，通过加入正则化项，使模型训练后变的稀疏，模块化。b）每个神经元处在一个设定的三维坐标上，高斯距离更长的神经元连接具备更长的惩罚项。c）将 RNNs 嵌入拓扑空间，引导剪枝过程实现高效的网络内交流，d）加入正则项后，网络会激励短连接的产生，不利于长连接的产生。e）对比加入和不加入空间正则化机制的网络。f）网络要解决的一步推理任务，从二十步开始，目标出现在网格上的四个位置之一：上/下、左/右（浅蓝色表示）。随后是十步延迟，在此期间必须记住目标位置。然后在 20 个步骤中提供两个选择选项。利用先前的目标信息，代理必须选择离目标更近的选项。

图2：经过L1正则化与seRNN经过训练的预测精度相当，L1的总权重更低，空间在训练3轮后下降到最低，其模块化程度在训练6轮后显著提高，seRNN训练好的网络结构如e所示

图3：训练后的seRNN具有和脑类似的功能分区，一部分用以识别颜色，一部分用以识别方位，对于据对策和目标的存储，也存在对应的神经元中

图4：训练完成的seRNN相比基线情况，做决策时激活的神经元更少，因此能耗更低

图5：在100次seRNN的训练过程中，训练结果处在即足够准确，又具备模块化和小世界网络性质的最优权衡处

大脑之所以具备高效、灵活地执行各种认知操作的计算能力，是由于大脑中模块化小世界结构的稀疏连通性，可通过局部连接生成具有空间聚集的功能单元，可以混合模式执行编码选择，从而最大限度地减少能量消耗。这些复杂的特征至少可以部分归因于影响几乎所有大脑网络的三种力量：在（任务）环境中优化功能表现、网络的代谢/结构成本，以及网络内部的信号交流。通过seRNN加入空间正则化后的模拟，可复现上述特征，为计算神经科学提供可联合研究结构和功能的重要工具。

编译｜郭瑞东

NeuroAI读书会

详情请见：

NeuroAI 读书会启动：探索神经科学与人工智能的前沿交叉领域

推荐阅读

‍1. Nature：类脑计算亟需宏大蓝图2. 自上而下or自下而上？混合类脑计算新框架：全都要3. 类脑计算前沿：基于有机电化学网络的生物信号分类4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程5. 成为集智VIP，解锁全站课程／读书会6. 加入集智，一起复杂！

点击“阅读原文”，报名读书会