欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用

Machine Intelligence Research

神经成像数据通常包括多种模态，如结构或功能磁共振成像、扩散张量成像和正电子发射断层扫描等，它们为观察和分析大脑提供了多种视角。为了充分利用不同模态的互补表征，我们需要进行多模态融合，以挖掘模态间和模态内的信息。这些丰富的信息，使得结合多种模态数据来探索健康和疾病状态下大脑的结构和功能特征变得越来越流行。

欧洲科学院外籍院士蒋田仔团队首先回顾了融合多模态脑成像数据的各种先进机器学习方法，大致分为无监督学习策略和有监督学习策略。随后讨论了一些具有代表性的应用范式，包括如何帮助理解大脑结构、如何提高认知、行为和脑衰老的预测，以及如何加速大脑疾病的生物标记探索。最后讨论了一些令人兴奋的新兴趋势和重要的未来方向。文章全面概述多模态脑成像融合方法及成功的应用范式，以及多尺度和大数据带来的挑战，这引发了开发新模型和平台的迫切需求。文章已发表于《机器智能研究（英文）》2024年第1期中。

欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用

图片来自Springer

全文下载：

Multimodal Fusion of Brain Imaging Data: Methods and applications

Na Luo, Weiyang Shi, Zhengyi Yang, Ming Song & Tianzi Jiang

https://link.springer.com/article/10.1007/s11633-023-1442-8

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1442-8

全文导读

神经成像为识别和测量大脑的结构和功能提供了一种手段。不同的非侵入性成像测量可揭示神经系统的不同特征，如组织结构、功能激活或结构和功能连接。磁共振成像(MRI)是最重要的神经成像技术之一，广泛应用于神经科学研究和临床。结构磁共振成像(sMRI)提供有关大脑组织类型的信息。功能磁共振成像(fMRI)动态测量与大脑神经活动相关的血流动力学反应。此外，弥散加权成像(DWI)还能提供大脑区域之间的结构连接信息。通常情况下，这些数据是以单一模式分别进行分析的。最近，使用各种成像技术从同一个人身上收集多种类型的大脑数据已成为普遍做法。与单一模态相比，多种模态的融合可捕捉到跨模态(共享和互补)信息，这种做法有望提供更多有关潜在问题的见解。

数据融合的共同目标是最大限度地挖掘各模态之间共享的联合信息以及各模态内的互补信息。在过去的几十年里，基于学习的融合方法有了长足的进步。根据是否使用标签来指导学习过程，我们将现有的融合技术细分为无监督学习方法和有监督学习方法。有监督学习方法的目标函数非常明显且一致，即学习输入与标签之间的映射，然后通过减少预测标签与真实标签之间的差异来优化联合表征。对于无监督学习策略，我们根据不同的目标函数将其进一步细分为三类：基于相关性的融合、多视角聚类和数据重构。下文将对每一类中的先进方法进行系统介绍。传统的融合方法通常强调最大限度地利用共享表征，而忽略了各个模态内的互补信息。因此，我们也将讨论这些方法在探索互补信息方面的变体。

进行多模态融合分析有利于加深对不同时空尺度复杂大脑网络的理解。首先，脑图谱是研究脑网络的先决条件，在神经科学和临床实践中发挥着核心作用。尽管许多广泛应用的脑图谱主要通过单一模式(细胞结构、拓扑特征、功能激活或连接)将大脑划分为不同的区域，但最近的一系列研究揭示了融合多种模态可以划定更稳定的边界。更重要的是，构建参考脑图谱为融合从基因、蛋白质、突触和神经元到区域、通路和整个大脑的大规模信息奠定了基础，也为通过数据融合技术全面探索神经科学在健康发展和临床病理方面的应用提供了可能。此外，多模态融合方法也被应用于探索认知和发育的奥秘，以及挖掘精神疾病的早期诊断、亚型分类和预后预测的生物标记。在最近的研究中，相较于单一模态，融合多模态的研究在上述科学问题中均更有优势，不仅能挖掘到更多单模态无法看到的变化，且基于多模态特征开展的分类和个体化预测的精度更佳。

欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用

图1 本综述涉及四个相互关联的主题

如图 1 所示，本综述涉及四个相互关联的主题 : 1) 方法论：总结了近年来具有代表性的多模态脑成像融合技术；2) 多模态脑成像绘制脑图谱，回顾了基于解剖结构、功能激活、连接性或多种模态信息的宏观和微观层面的脑图谱构建范式；3) 多模态融合在认知和发育研究中的应用：包括多模态融合方法如何帮助提高对行为表型和脑衰老的预测和理解的代表性应用；4) 多模态融合在脑疾病中的应用：阐述多模态融合如何帮助加速探索脑疾病的潜在生物学机制。

· 本文作者 ·

欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用

全文下载：

Multimodal Fusion of Brain Imaging Data: Methods and applications

Na Luo, Weiyang Shi, Zhengyi Yang, Ming Song & Tianzi Jiang

https://link.springer.com/article/10.1007/s11633-023-1442-8

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1442-8

BibTex:

@Article {MIR-2022-12-391,

author={ Na Luo, Weiyang Shi, Zhengyi Yang, Ming Song, Tianzi Jiang },

journal={Machine Intelligence Research},

title={Multimodal Fusion of Brain Imaging Data: Methods and Applications},

year={2024},

volume={21},

issue={1},

pages={136-152},

doi={10.1007/s11633-023-1442-8}}

纸刊免费寄送

Machine Intelligence Research

MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接填写收件地址，编辑部将尽快为您免费寄送纸版全文！

说明：如遇特殊原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737

收件信息登记：

https://www.wjx.cn‍/vm/eIyIA AI.aspx#

∨

关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选”中国科技期刊卓越行动计划”，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。

▼
往期目录
▼

▼
MIR资讯
▼

2024年 AI 领域国际学术会议参考列表
 征稿启事 | AIART 2024 Call for Papers
专题征稿 | Special Issue on Transformers for Medical Image Analysis
MIR 优秀编委 & 优秀审稿人 & 高被引论文 (2023年度)
致谢审稿人 | Machine Intelligence Research
年终喜报！MIR科技期刊世界影响力指数跻身Q1区 (含100份龙年礼包)
最新 | 2023研究前沿及热点解读 (附完整PDF)
前进20名！MIR再度跻身国际影响力TOP期刊榜单
 2022影响因子发布！人工智能领域最新SCI & ESCI期刊一览
 喜报 | MIR入选图像图形领域 T2级 “知名期刊”！
双喜！MIR入选”2022中国科技核心期刊”，并被DBLP收录 | 机器智能研究MIR
报喜！MIR入选2022年国际影响力TOP期刊榜单
 喜报 | MIR被 ESCI 收录！
喜报 | MIR 被 EI 与 Scopus 数据库收录

欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用

ufabet มีเกมให้เลือกเล่นมากมาย: เกมเดิมพันหลากหลาย ครบทุกค่ายดัง

tornado crypto mixer Discover the power of privacy with TornadoCash! Learn how this decentralized mixer ensures your transactions remain confidential.

ดูบอลสด Very well presented. Every quote was awesome and thanks for sharing the content. Keep sharing and keep motivating others.

ดูบอลสด Pretty! This has been a really wonderful post. Many thanks for providing these details.

ดูบอลสด Hi there to all, for the reason that I am genuinely keen of reading this website’s post to be updated on a regular basis. It carries pleasant stuff.

Obrazy Sztuka Nowoczesna Thank you for this wonderful contribution to the topic. Your ability to explain complex ideas simply is admirable.

ufabet Hi there to all, for the reason that I am genuinely keen of reading this website’s post to be updated on a regular basis. It carries pleasant stuff.

ufabet You’re so awesome! I don’t believe I have read a single thing like that before. So great to find someone with some original thoughts on this topic. Really.. thank you for starting this up. This website is something that is needed on the internet, someone with a little originality!

ufabet Very well presented. Every quote was awesome and thanks for sharing the content. Keep sharing and keep motivating others.

欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用

今天起，国产AI可以像人一样用手机了！一手实测在此

量子位「MEET 2025智能未来大会」启动！年度评选征集ing

值得买科技与人大高瓴人工智能学院首个多模态领域联合研究成果亮相CNCC2024

新壹科技一帧秒创三大产品更新：引领未来内容创作潮流

黄仁勋：我从不在乎市场份额，英伟达唯一目标是创造新市场

Post Title

陶哲轩：纳维-斯托克斯方程或已不再是流体的良好模型

谷歌&MIT何恺明团队：视觉大模型像LLM一样高效扩展

颜水成袁粒提出新一代MoE架构：专家吞吐速度最高提升2.1倍！

Ilya观点得证！仅靠预测下一个token统一图像文本视频，智源发布原生多模态世界模型Emu3