使用单一智能手机照片进行分类和监测青少年特发性脊柱侧凸的深度学习模型

编译 | 曾全晨

审稿 | 王建民

今天为大家介绍的是来自Chuang Zhu和Jason P. Y. Cheung团队的一篇论文。青少年特发性脊柱侧凸（AIS）是最常见的儿童脊柱疾病。经过受过培训的医务人员的定期身体检查对于诊断疾病的严重程度和监测曲线进展至关重要。在存在引起担忧的异常情况下，需要进行放射照片以进行诊断或随访，以指导进一步的治疗，如中度异常情况下的支架矫正和严重异常情况下的脊柱手术。如果不加以关注，患者中的三分之二将会发生病情逐渐恶化，对于正在成长的儿童来说，这将导致重大健康问题。

青少年特发性脊柱侧凸（AIS）表现为三维脊柱畸形。据报道，男孩中发生率高达2.2%，女孩中为4.8%。在青春期时有高发病率，可能导致成年后生活质量和活动能力下降，心肺功能障碍和背部疼痛。因此，早期发现、密切随访和适当干预至关重要。香港自1995年起实施了学校筛查计划，作为全境年度综合健康评估计划的一部分。然而，这种筛查实践可能会受到中断的影响，这加大了需要院外、可访问的评估的需求。此外，目前的AIS检测和随访需要大量的临床专业知识。可用的评估工具包括体格检查和X光检查。体格检查评估肩高、腰部不对称、胸腔不对称以及肋骨和乳房畸形。然而，这些外部外观的评估是主观的，不能可靠地检测特定的畸形严重程度和类型。使用患者易于获取的智能手机图像自动检测和分类AIS是进行院外评估的有前景的选择，但其由于多种因素而具有挑战性。首先，智能手机图像引入了各种变化，包括振动、角度和嘈杂的背景，使分类变得困难。其次，具有脊柱畸形的个体的背部在不同严重程度和曲线类型下具有可变外观。作者通过开发一个虚拟脊柱评估平台，克服了这一挑战。通过使用标准疾病严重性分类标准作为标准标签（GT），以及一个经过验证的深度神经网络（ScolioNets）模型，该AlignProCARE应用程序（应用）接受任意场景，并直接从GT标签和图像进行端到端的训练，用于自动和移动脊柱侧凸分类，而无需额外的辐射照射。平台有潜力协助确定脊柱侧凸的严重程度，从而减少对没有脊柱侧凸或有轻度脊柱侧凸的患者进行X光筛查的机会。

数据来源

图 1

所有参与者背部的图像都是由参与者的父母或监护人自愿使用智能手机拍摄的。成对的X光片以PNG格式匿名从医院系统检索。使用标准的严重程度分类，所有数据的真实标签由具有20多年AIS管理经验的2名脊柱专家（A.D.和J.P.Y.C.）通过手动注释冠状X光照片而提供。AIS的严重程度由度数定义，由冠状X光照片上的Cobb角度测量，遵循临床标准，这是治疗计划的主要考虑因素。AIS的严重程度分为3类：无或轻度AIS，Cobb角度20°或更低；中度AIS，Cobb角度20°到40°；重度AIS，Cobb角度大于40°。治疗计划建议基于严重程度分类绘制。曲线类型随后根据GT标签确定，方法是根据顶点椎骨的位置。具有单侧凸曲线的参与者被分类为具有胸（T）曲线或胸腰/腰（TL/L）曲线。具有多个曲线的患者被分类为混合曲线。

数据处理以及模型设计

cohort 1的参与者是在2018年10月至2020年9月之间招募的，用于开发用于分类脊柱侧凸严重程度和侧凸曲线类型的深度学习模型。cohort 2是为了前瞻性测试该模型的性能而招募的，随访时间为6个月。作者首先使用视频抠像方法对智能手机拍摄的图像进行背部分割，然后经验性地裁剪分割后的图像，只保留带有手臂的背部图像，以提高分类性能。作者开发了具有注意机制和多任务策略的多层卷积神经网络，并进行了比较。在cohort 1中，使用了1429张图像进行模型训练，并在训练期间将每个图像调整为3×224×224像素，以使其与网络架构的原始尺寸兼容。作者直接为严重程度分类训练了三分类模型，并为曲线类型分类训练了二分类模型。如果一个图像上存在两种侧凸曲线类型，就会分类为混合曲线类型。

实验结果

表 1

在2018年10月至2020年9月期间，招募了1780名参与者，这些参与者来自三级转诊中心，有资格进入cohort 1（表1），用于开发模型。对于前瞻性测试cohort 2，从2020年10月至2022年3月期间连续前来AIS诊所的参与者中招募了378名患者（表1），并由模型进行评估。在两个cohort中的2158名参与者中，有652名参与者不需要干预，1250名参与者需要定期随访的非手术干预，还有256名参与者正在考虑手术。此外，参与者在研究期间完成了总共376次随访。

图 2

表 2

所有2158名参与者均具有放射学和常规临床评估数据，还有一张额外拍摄的背部照片。从医学数字成像与通信（DICOM）格式的原始放射图像中，导出了4303张便携式网络图形格式的放射图像，这些图像来自医院的图片存档与通信系统，包括1295张图像（30.1%）的参与者没有干预，2499张图像（58.1%）的参与者接受了非手术干预，以及509张图像（11.8%）的参与者正在考虑手术。通过放射图像由脊柱外科医生对cohort 1的参与者进行分类，其中555名参与者（31.2%）被分类为没有或轻度AIS，1055名参与者（59.3%）被分类为中度AIS，170名参与者（9.6%）被分类为重度AIS。对于cohort 2，97名参与者（25.7%）被分类为没有或轻度AIS，195名参与者（51.6%）被分类为中度AIS，86名参与者（22.7%）被分类为重度AIS。

在前瞻性测试中，模型对无或轻度AIS（即无干预）的预测AUC为0.839（95%置信区间[CI]，0.789-0.882），对严重AIS（即考虑手术）的预测AUC为0.902（95%CI，0.859-0.936）（图2A和表2）。生成了混淆矩阵以可视化实际结果和预测结果之间的一致性（图2B）。作者发现，与外科医生的评估相比，模型正确地识别了AIS的严重程度，表现得一样好或更好（表2）。

模型在前瞻性测试数据集中对曲线类型的预测AUC分别为T型0.777（95%CI，0.745-0.808），TL/L型0.760（95%CI，0.727-0.791）和混合型0.860（95%CI，0.834-0.887）。与资深外科医生相比，模型的预测准确性相当（T型：72.51% [95%CI，69.04%-75.78%] vs 71.08%；TL/L型：72.93% [95%CI，69.48%-76.19%] vs 69.09%；混合型：74.07% [95%CI，70.66%-77.28%] vs 66.95%），与初级外科医生相比，准确性更高（T型：65.24%；TL/L型：65.10%；混合型：30.34%）。与资深外科医生相比，模型在检测曲线类型方面的敏感性也更高（T型：82.31% [95%CI，78.51%-85.70%] vs 76.64%；TL/L型：81.18% [95%CI，77.29%-84.66%] vs 75.49%；混合型：87.32% [95%CI，82.10%-91.48%] vs 41.31%），同时在负预测值方面也更高（T型：61.97% [95%CI，56.45%-67.20%] vs 58.04%；TL/L型：62.11% [95%CI，56.85%-67.11%] vs 55.56%；混合型：92.52% [95%CI，89.64%-94.65%] vs 75.35%）。

表 3

对于使用该应用程序进行随访的患者中的曲线进展的区分，该模型的预测准确性为70.49%（95%CI，57.43%-81.48%），AUC为0.757（95%CI，0.630-0.858），敏感性为63.33%（95%CI，43.86%-80.87%），负预测值为68.57%（95%CI，56.78%-78.37%）。对于进展评估并对放射图像进行蒙眼评估的经验丰富的脊柱外科医生，他们能够以70.00%的准确性、77.42%的敏感性和72.00%的负预测值区分进展性曲线。初级外科医生表示，他们无法区分具有进展性畸形的患者（表3）。

结论

这项诊断研究的发现表明，由ScolioNets深度学习模型支持的AlignProCARE应用程序可以为患有脊柱侧弯症（AIS）的患者提供可访问的移动评估，尤其是对于无法获得有经验的脊柱专科医生关照的患者。该模型没有额外的辐射，仅有极低的成本，并可以提供连续监测，并在检测到病情进展时触发及时的干预措施。应用可以通过为医生的管理决策提供计算机辅助的实时评估，为患者提供进一步的治疗规划和监测。未来，该开放平台可以通过提供全自动的脊柱错位分析，持续造福全球脊柱专科医生和患者。

参考资料

Zhang, T., Zhu, C., Zhao, Y., Zhao, M., Wang, Z., Song, R., … & Cheung, J. P. (2023). Deep Learning Model to Classify and Monitor Idiopathic Scoliosis in Adolescents Using a Single Smartphone Photograph. JAMA Network Open, 6(8), e2330617-e2330617.