医学图像基础模型前沿：基于Twitter的病理图像与眼科视网膜图像 | 周日直播·生物医学大模型读书会

导语

医学领域正面临着一个重大挑战：缺乏可用的标注医学图像，而这个问题限制了计算研究和医学教育的创新。另一方面，医学人工智能在视网膜图像分析方面也具有广泛的应用前景。但开发这些模型需要大量标注数据，通常限定于特定任务。本周的分享我们邀请了两位嘉宾，来自斯坦福大学的博士后黄致将会为大家介绍「基于医学 Twitter 的病理图像分析视觉-语言基础模型」，时间是本周日上午10:00-11:00；来自伦敦大学学院(UCL)和Moorfields眼科医院在读博士周玉昆将会为大家介绍「眼科视网膜基础模型RETFound」，时间是本周日的晚上20:00-21:00，欢迎大家关注。

集智俱乐部联合西湖大学助理教授吴泰霖、斯坦福大学计算机科学系博士后研究员王瀚宸、博士研究生黄柯鑫、黄倩，华盛顿大学博士研究生屠鑫明，共同发起以“大模型与生物医学”为主题的读书会，共学共研相关文献，探讨基础模型在生物医学等科学领域的应用、影响和展望。读书会从2023年8月20日开始，每周日早上 9:00-11:00 线上举行，持续时间预计8周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。

主题一：基于医学 Twitter 的

病理图像分析视觉-语言基础模型

在医学领域，标注医学图像是指为图像附加详细的注释或标签，以识别和描述其中包含的医学信息。这些标签可以包括疾病特征、组织结构、异常发现等。然而，标注医学图像存在一些严重的困难和限制。专业医学图像的标注通常需要高度专业化的知识，因此成本高昂。这导致了数据稀缺性，特别是对于罕见的疾病或新的病例。同时，医学图像通常包含患者敏感信息，这使得共享和标注医学图像变得复杂，需要严格的隐私保护。
PLIP（医学Twitter的病理图像分析视觉-语言基础模型）通过在基于医学Twitter的知识共享平台上构建大型数据集OpenPath来解决这些问题。这个数据集包含了数十万张病理图像，并且每张图像都伴随着自然语言描述，这些描述是医学专业人士共享的。OpenPath提供了大规模的标记数据，并为医学图像研究和算法开发提供了宝贵的资源。同时，基于医学Twitter的知识共享平台允许医学专业人士分享他们的知识和经验，这有助于促进医学领域的协作和知识传递。PLIP结合了视觉和自然语言处理，能够自动分析图像并生成相关描述，提供了更全面的医学图像理解。通过解决标注医学图像的困境，PLIP为医学诊断、知识共享和教育带来了新的可能性。这一研究为医学人工智能领域的发展提供了强大的支持，将改善患者护理和促进医学科学的进步。

大纲介绍

1. 背景介绍

医学领域的病理图像分析的重要性

缺乏标注医学图像为什么是个挑战

2 解决问题的扳手：PLIP模型

– 病理语言-图像预训练（PLIP）模型的概念

– 基于数据集的训练和调试

3 PLIP模型的性能评估

– PLIP在新病理图像分类上的表现

– 与其他模型的比较

4 展望：医学领域内的知识共享和教育创新

讲者介绍

Zhi Huang，斯坦福大学的博士后研究员。2021年8月于普渡大学电气与计算机工程（ECE）获得博士学位。在此之前，他获得了西安交通大学电子信息工程学院学士学位。他的背景是人工智能、数字病理学和计算生物学领域。
所涉及到的参考文献：Huang, Z., Bianchi, F., Yuksekgonul, M. et al. A visual–language foundation model for pathology image analysis using medical Twitter. Nat Med 29, 2307–2316 (2023). https://doi.org/10.1038/s41591-023-02504-3
参与方式活动时间2023年11月5日（本周日）上午 10:00-11:00

线上会议室扫码参与大模型与生物医学读书会，加入群聊，获取系列读书会回看权限，成为大模型与生物科学读书会的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动AI+Science社区的发展。

主题2：RETFound：自我监督学习驱动的

视网膜图像AI模型及其跨领域应用

在医学领域，眼科图像的分析和疾病诊断一直都是一项充满挑战的任务。这些图像可能包括视网膜扫描、眼底照片和其他眼科影像，用于检测眼部疾病，如青光眼、白内障、糖尿病性视网膜病变等。然而，眼科图像分析面临以下困难。眼科图像涵盖了广泛的疾病和病变，每一种都可能表现出多种不同的模式和特征。这多样性使得开发通用性模型变得复杂，需要大量的标记数据。同时，要训练深度学习模型，通常需要大量的标记数据，但医学图像的标注通常需要专业医生的参与，成本高昂，时间耗费大。这是因为解释眼科图像需要丰富的医学知识，而非专业人员难以理解图像中的细微差异。然而，一些眼部疾病需要在早期就被发现和治疗，因为延误可能导致不可逆的损害。因此，快速而准确的疾病诊断至关重要。
在这个背景下，周玉昆博士开发的RETFound的出现变得尤为重要。RETFound是一种基于自我监督学习的视网膜图像基础模型，它通过大规模的未标记图像训练，可以学习到广泛的视网膜特征和疾病模式。这意味着它可以在没有大量专业标注数据的情况下进行训练，从而克服了数据稀缺性的问题。RETFound的自我监督学习方法还有助于提高模型的泛化能力，因为它可以自动捕捉到不同类型的视网膜图像特征。这使得RETFound能够适用于多种临床应用，包括眼病的早期检测、预测和复杂系统性疾病的事件预测。

大纲介绍

1. 背景

– 眼科视网膜图像在疾病诊断和预测中的重要性

– 传统医学图像处理方法的限制

2. RETFound：视网膜图像的基础模型

– 模型的自我监督学习训练过程

– RETFound的模型性能

3 RETFound的应用前景及临床价值
讲者介绍周玉昆，伦敦大学学院(UCL)和Moorfields眼科医院在读博士，研究方向为视网膜图片分析和大规模临床数据上的转换研究。2022年以第一作者发布基于深度学习的视网膜图像分析工具AutoMorph，是该领域首个开源的全自动化图片计算工具，相关应用发表于Jama Psychiatry和cell metabolism等期刊。2023年以第一作者兼通讯在Nature上发表RETFound，眼科领域的第一个大规模临床数据训练的基础模型。相关研究被ScienMag, MedicalXpress, ScienceDaily等新闻社报道。获得UCL inaugural Open Science and Scholarship Award.
所涉及到的参考文献：Zhou, Y., Chia, M. A., Wagner, S. K., Ayhan, M. S., Williamson, D. J., Struyven, R. R., … & Keane, P. A. (2023). A foundation model for generalizable disease detection from retinal images. Nature, 1-8.
参与方式活动时间2023年11月5日（本周日）晚上 20:00-21:00
线上会议室（仅有腾讯会议室，无B站视频号直播）扫码参与大模型与生物医学读书会，加入群聊，获取系列读书会回看权限，成为大模型与生物科学读书会的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动AI+Science社区的发展。

大模型与生物医学：

AI + Science第二季读书会启动

生物医学是一个复杂且富有挑战性的领域，涉及到大量的数据处理、模式识别、理论模型建构和实验验证等问题。AI基础模型的引入，使得我们能够从前所未有的角度去观察和理解这个领域的问题，加速科学研究的步伐，提高医疗服务的效率和效果。这种交叉领域的合作，标志着我们正在向科技与生物医学深度融合的新时代迈进，对于推动科学研究、优化医疗服务、促进人类健康有着深远的影响。
集智俱乐部联合西湖大学助理教授吴泰霖、斯坦福大学计算机科学系博士后研究员王瀚宸、博士研究生黄柯鑫、黄倩，华盛顿大学博士研究生屠鑫明，共同发起以“大模型与生物医学”为主题的读书会，共学共研相关文献，探讨基础模型在生物医学等科学领域的应用、影响和展望。读书会从2023年8月20日开始，每周日早上 9:00-11:00 线上举行，持续时间预计8周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。

详情请见：

大模型与生物医学：AI + Science第二季读书会启动

AI+Science 读书会

AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。
集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以“AI+Science”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。

详情请见：人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动

点击“阅读原文”，报名读书会