欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用

​

Machine Intelligence Research

神经成像数据通常包括多种模态，如结构或功能磁共振成像、扩散张量成像和正电子发射断层扫描等，它们为观察和分析大脑提供了多种视角。为了充分利用不同模态的互补表征，我们需要进行多模态融合，以挖掘模态间和模态内的信息。这些丰富的信息，使得结合多种模态数据来探索健康和疾病状态下大脑的结构和功能特征变得越来越流行。

欧洲科学院外籍院士蒋田仔团队首先回顾了融合多模态脑成像数据的各种先进机器学习方法，大致分为无监督学习策略和有监督学习策略。随后讨论了一些具有代表性的应用范式，包括如何帮助理解大脑结构、如何提高认知、行为和脑衰老的预测，以及如何加速大脑疾病的生物标记探索。最后讨论了一些令人兴奋的新兴趋势和重要的未来方向。文章全面概述多模态脑成像融合方法及成功的应用范式，以及多尺度和大数据带来的挑战，这引发了开发新模型和平台的迫切需求。文章已发表于《机器智能研究（英文）》2024年第1期中。

图片来自Springer

全文下载：

Multimodal Fusion of Brain Imaging Data: Methods and applications

Na Luo, Weiyang Shi, Zhengyi Yang, Ming Song & Tianzi Jiang

https://link.springer.com/article/10.1007/s11633-023-1442-8

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1442-8

全文导读

神经成像为识别和测量大脑的结构和功能提供了一种手段。不同的非侵入性成像测量可揭示神经系统的不同特征，如组织结构、功能激活或结构和功能连接。磁共振成像(MRI)是最重要的神经成像技术之一，广泛应用于神经科学研究和临床。结构磁共振成像(sMRI)提供有关大脑组织类型的信息。功能磁共振成像(fMRI)动态测量与大脑神经活动相关的血流动力学反应。此外，弥散加权成像(DWI)还能提供大脑区域之间的结构连接信息。通常情况下，这些数据是以单一模式分别进行分析的。最近，使用各种成像技术从同一个人身上收集多种类型的大脑数据已成为普遍做法。与单一模态相比，多种模态的融合可捕捉到跨模态(共享和互补)信息，这种做法有望提供更多有关潜在问题的见解。

数据融合的共同目标是最大限度地挖掘各模态之间共享的联合信息以及各模态内的互补信息。在过去的几十年里，基于学习的融合方法有了长足的进步。根据是否使用标签来指导学习过程，我们将现有的融合技术细分为无监督学习方法和有监督学习方法。有监督学习方法的目标函数非常明显且一致，即学习输入与标签之间的映射，然后通过减少预测标签与真实标签之间的差异来优化联合表征。对于无监督学习策略，我们根据不同的目标函数将其进一步细分为三类：基于相关性的融合、多视角聚类和数据重构。下文将对每一类中的先进方法进行系统介绍。传统的融合方法通常强调最大限度地利用共享表征，而忽略了各个模态内的互补信息。因此，我们也将讨论这些方法在探索互补信息方面的变体。

进行多模态融合分析有利于加深对不同时空尺度复杂大脑网络的理解。首先，脑图谱是研究脑网络的先决条件，在神经科学和临床实践中发挥着核心作用。尽管许多广泛应用的脑图谱主要通过单一模式(细胞结构、拓扑特征、功能激活或连接)将大脑划分为不同的区域，但最近的一系列研究揭示了融合多种模态可以划定更稳定的边界。更重要的是，构建参考脑图谱为融合从基因、蛋白质、突触和神经元到区域、通路和整个大脑的大规模信息奠定了基础，也为通过数据融合技术全面探索神经科学在健康发展和临床病理方面的应用提供了可能。此外，多模态融合方法也被应用于探索认知和发育的奥秘，以及挖掘精神疾病的早期诊断、亚型分类和预后预测的生物标记。在最近的研究中，相较于单一模态，融合多模态的研究在上述科学问题中均更有优势，不仅能挖掘到更多单模态无法看到的变化，且基于多模态特征开展的分类和个体化预测的精度更佳。

图1 本综述涉及四个相互关联的主题

如图 1 所示，本综述涉及四个相互关联的主题 : 1) 方法论：总结了近年来具有代表性的多模态脑成像融合技术；2) 多模态脑成像绘制脑图谱，回顾了基于解剖结构、功能激活、连接性或多种模态信息的宏观和微观层面的脑图谱构建范式；3) 多模态融合在认知和发育研究中的应用：包括多模态融合方法如何帮助提高对行为表型和脑衰老的预测和理解的代表性应用；4) 多模态融合在脑疾病中的应用：阐述多模态融合如何帮助加速探索脑疾病的潜在生物学机制。

· 本文作者 ·

全文下载：

Multimodal Fusion of Brain Imaging Data: Methods and applications

Na Luo, Weiyang Shi, Zhengyi Yang, Ming Song & Tianzi Jiang

https://link.springer.com/article/10.1007/s11633-023-1442-8

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1442-8

BibTex:

@Article {MIR-2022-12-391,

author={ Na Luo, Weiyang Shi, Zhengyi Yang, Ming Song, Tianzi Jiang },

journal={Machine Intelligence Research},

title={Multimodal Fusion of Brain Imaging Data: Methods and Applications},

year={2024},

volume={21},

issue={1},

pages={136-152},

doi={10.1007/s11633-023-1442-8}}

纸刊免费寄送

Machine Intelligence Research

MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接填写收件地址，编辑部将尽快为您免费寄送纸版全文！

说明：如遇特殊原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737

收件信息登记：

https://www.wjx.cn‍/vm/eIyIAAI.aspx#  

∨

关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选”中国科技期刊卓越行动计划”，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。

▼
往期目录
▼

2024年第1期 | 特约专题: AI for Art
2023年第6期 | 影像组学、机器学习、图像盲去噪、深度估计…
2023年第5期 | 生成式人工智能系统、智能网联汽车、毫秒级人脸检测器、个性化联邦学习框架… (机器智能研究MIR)
2023年第4期 | 大规模多模态预训练模型、机器翻译、联邦学习……
2023年第3期 | 人机对抗智能、边缘智能、掩码图像重建、强化学习… 
2023年第2期 · 特约专题 | 大规模预训练: 数据、模型和微调
2023年第1期 | 类脑智能机器人、联邦学习、视觉-语言预训练、伪装目标检测… 
2022年第6期 | 因果推理、视觉表征学习、视频息肉分割…
2022年第5期 | 重磅专题：类脑机器学习
2022年第4期 | 来自苏黎世联邦理工学院Luc Van Gool教授团队、清华大学戴琼海院士团队等
2022年第3期 | 聚焦自然语言处理、机器学习等领域；来自复旦大学、中国科学院自动化所等团队
2022年第2期 | 聚焦知识挖掘、5G、强化学习等领域；来自联想研究院、中国科学院自动化所等团队
主编谭铁牛院士寄语, MIR第一期正式出版！

▼
好文推荐
▼

金耀初团队&郑锋团队 | 综述: 深度工业图像异常检测
下载量TOP好文 | 人工智能领域高下载文章集锦 (2022-2023年)
引用量TOP好文 | 人工智能领域高引用文章集锦 (2022-2023年)
综述 | 清华张学工教授: 肺癌影像组学中的机器学习
哈工大江俊君团队 | DepthFormer: 利用长程关联和局部信息进行精确的单目深度估计
Luc Van Gool团队 | 通过Swin-Conv-UNet和数据合成实现实用图像盲去噪
贺威团队&王耀南院士团队 | 基于动态运动基元的机器人技能学习
乔红院士团队 | 类脑智能机器人：理论分析与系统应用 （机器智能研究MIR）
南科大于仕琪团队 | YuNet:一个速度为毫秒级的人脸检测器
上海交大严骏驰团队 | 综述: 求解布尔可满足性问题(SAT)的机器学习方法
西电公茂果团队 | 综述: 多模态数据的联邦学习
高文院士团队 | 综述: 大规模多模态预训练模型
前沿观点 | 谷歌BARD的视觉理解能力如何？对开放挑战的实证研究
港中文黄锦辉团队 | 综述: 任务型对话对话策略学习的强化学习方法
南航张道强教授团队 | 综述：用于脑影像基因组学的机器学习方法
ETHZ团队 | 一种基于深度梯度学习的高效伪装目标检测方法 （机器智能研究MIR）
Luc Van Gool团队 | 深度学习视角下的视频息肉分割
专题综述 | 高效的视觉识别: 最新进展及类脑方法综述
北大黄铁军团队 | 专题综述：视觉信息的神经解码
专题综述 | 迈向脑启发计算机视觉的新范式
专题好文 | 新型类脑去噪内源生成模型: 解决复杂噪音下的手写数字识别问题
戴琼海院士团队 | 用以图像去遮挡的基于事件增强的多模态融合混合网络
ETH Zurich重磅综述 | 人脸-素描合成：一个新的挑战
华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法
联想CTO芮勇团队 | 知识挖掘：跨领域的综述
复旦邱锡鹏团队 | 综述：自然语言处理中的范式转换

▼
MIR资讯
▼

2024年 AI 领域国际学术会议参考列表
征稿启事 | AIART 2024 Call for Papers
专题征稿 | Special Issue on Transformers for Medical Image Analysis
MIR 优秀编委 & 优秀审稿人 & 高被引论文 (2023年度)
致谢审稿人 | Machine Intelligence Research
年终喜报！MIR科技期刊世界影响力指数跻身Q1区 (含100份龙年礼包)
最新 | 2023研究前沿及热点解读 (附完整PDF)
前进20名！MIR再度跻身国际影响力TOP期刊榜单
2022影响因子发布！人工智能领域最新SCI & ESCI期刊一览
喜报 | MIR入选图像图形领域 T2级 “知名期刊”！
双喜！MIR入选”2022中国科技核心期刊”，并被DBLP收录 | 机器智能研究MIR
报喜！MIR入选2022年国际影响力TOP期刊榜单
喜报 | MIR被 ESCI 收录！
喜报 | MIR 被 EI 与 Scopus 数据库收录

​Read More