创新磁共振分子影像技术

        脑影像研究方向旨在从脑结构、功能、分子影像角度全面揭示脑功能活动及脑疾病。脑影像技术是影像领域最蓬勃发展的前沿技术,它为脑科学认知研究、脑疾病诊治及类脑人工智能研究等,提供了重要技术手段和研究方法。影像研究院旨在打造具有国际先进水平的脑影像研究平台,重点在MR、PET成像等领域开发国际领先脑结构/功能/代谢成像技术;并以临床需求为驱动,以脑疾病精准诊断及有效治疗为使命,充分利用交叉学科及临床合作优势,为脑疾病早期诊疗及康复监测提供重要影像学判别依据;基于多模态高分辨率脑影像前沿技术,揭示大脑认知行为神经活动、探索重大脑疾病机理,取得国际先进科研成果。分子影像技术是连接基础研究分子生物技术和临床常用无创成像技术的桥梁,同时它为基础研究和临床应用都带来了前所未有的机遇。在新药研究和测试中,分子影像技术的推进,对深入了解疾病机理,对有效评估治疗手段,具有重要价值。中心团队通过和美国UIUC大学Zhi-Pei Liang教授团队积极合作,旨在开发新一代、颠覆性的无创、高灵敏度创新磁共振分子影像技术,促进实现精准医疗;结合检测、成像、建模、预测,从系统的角度揭示疾病的机理,帮助疾病的早期发现及早期预防。目前双方团队通过密切合作,已于脑科学研究领域国际顶刊《Brain》发表封面论文1篇,在2020年ISMRM国际磁共振成像顶级年会获得9个大会优秀论文奖, 包括2个 Suma Cum Laude Merit Awards (5% out of 6000)和7个 Magna Cum Laude Merit Awards (10% out of 6000)。

        中心李瑶团队与美国UIUC大学Zhi-Pei Liang教授团队合作,在国际上首次实现了急性脑卒中患者8分钟内高分辨率(2*3*3mm3)全脑神经细胞代谢成像,获得NAA及乳酸等重要神经代谢物分布图谱,该成果2020年发表在脑科学研究领域权威期刊《Brain》上,并被选为2020年11月刊封面论文(如图5-1)。中心团队基于全脑神经细胞代谢成像技术,对卒中急性半暗带进行了检测研究,相关工作获得了2020 年国际医学磁共振学会年会(ISMRM)大会优秀论文奖(Magna Cum Laude Merit Award)。此外,双方团队合作,实现了6分钟扫描时间人脑全脑高分辨率3D-MRSI及QSM,MWF同步成像(如图5-2),实现了超快速高分辨人脑T2成像,相关关键技术合计获得2020国际医学磁共振学会年会杰出论文奖项3项。

        双方团队基于多模态高分辨率脑代谢成像技术,展开了一系列临床脑疾病研究,包括急性脑卒中组织损伤鉴别、脑肿瘤分类分区、急性脑创伤代谢改变、阿尔兹海默症(AD)内外源PET/3D-MRSI同步分子影像检测等。相应成果获得2020国际医学磁共振学会年会杰出论文奖项4项(1项Suma Cum Laude Merit Award, 5% 和3项Magna Cum Laude Merit Award,10%).

急性脑卒中患者全脑高分辨率快速3D乳酸(A)及NAA(B)成像

高分辨率3D-MRSI成像同步髓鞘水(MWF)成像和铁沉积(QSM)成像

超快速高分辨人脑T2成像

 高分辨率神经代谢成像在 (a) 脑肿瘤;(b) 脑卒中;(c) 脑损伤;及(d) AD患者中的应用研究

基于磁共振成像的脑深部电刺激手术定位技术

        脑深部电刺激(DBS)是通过植入性电极向神经结构提供持续的刺激。绝缘的电极上一定数量的金属触点以不同间隔隔开,并通过皮下导线连接至脉冲发生器和电池(通常植入于锁骨下或腹部皮肤)。可以对电刺激参数进行程控从而达到需要的临床疗效。DBS有越来越多的适应症和刺激靶点,最常见的如中晚期帕金森病的治疗靶点,丘脑底核(STN)、苍白球内侧核团(GPi), 丘脑腹中间核(Vim)。DBS定位精度是手术成败的关键,如果电极错位则疗效大打折扣。DBS术前通常采用无框架头颅MRI与带框架CT影像融合以术前定位,然而由于在CT图像中无法直接看到我们要看的解剖结构,手术过程中脑漂移的产生往往会导致融合误差。因此,术后MRI对于获得准确的电极位置是必要的。

        中心魏红江团队开发了一款科研和临床软件,利用图像重建、配准融合、定位跟踪、变形校正等技术,以多模态磁共振医学影像数据为基础,结合人工智能大数据带来的便利,为临床中DBS等手术提供技术支持,简化对于临床医生来说繁复而又陌生的数据处理分析工作,提高靶点定位精度,推进手术优化进程。该软件包括两大功能模块:(1)不同模态影像的预处理、图像重建、分析、以及不同模态之间的配准技术开发。与全脑白质纤维追踪相关的软件功能包括畸变矫正,头动矫正,弥散参数计算以及纤维追踪和结构网络连接的构建。功能图像分析处理包括畸变矫正,时差矫正,头动矫正等预处理功能,以及不同模式功能网络连接(如全脑连接分析或基于感兴趣区域的连接分析),计算功能连接参数图。同时,软件将实现定量磁化率图像重建以及其与不同模态间的图像融合。(2)简化脑机接口定位流程,提高定位准确率,优化手术疗效。结合患者大数据和多模态影像学信息,基于机器学习建立智能疗效预测模型,对不同疾病的脑机接口医学干预方案提供个性化靶点术前疗效预测,提高手术精确性,降低手术风险,全方位提高脑机接口技术在临床上应用的效能。推广先进的多模态影像在临床中的应用,针对复杂并且严重的精神疾病,如难治性抑郁症、药物成瘾、精神性厌食症如病情分析,手术风险评估,手术计划和术后康复计划制定等,使精准影像更快地实现临床转化。促进我的脑疾病的研究和诊疗技术的进步,形成具有中国特色的脑科学研究的产业转化,产生社会和经济价值。

高分辨QSM脑影像显示GPi

磁共振降噪

        磁共振成像(Magnetic Resonance Imaging, MRI)在扫描过程中梯度线圈产生的噪音可达120 dBA以上,给患者,尤其是婴幼儿将带来严重的健康和安全风险。成年人过度暴露于噪音环境将导致听力损伤、诱发自主神经系统刺激,可能导致高血压和心血管疾病。噪音环境还是导致胎儿丧失高频听力、早产和宫内发育迟缓的因素之一。磁共振扫描期间的噪声主要由梯度线圈和其他机械结构的机械振动产生。梯度线圈电流的变化改变洛伦兹力并引起在空气中产生声波的机械振动,即导致了噪声。随着高场磁共振的普及在技术开发和临床实践中的普及,解决噪声所带来的安全性问题也越来越迫切。

        基于以上背景,中心罗洁团队开发了新一代磁共振降噪技术:(1)提出一种磁共振静音序列设计方法:该方法包括序列参数模型构建步骤(定义用于优化的参数,建立参数与K空间以及脉冲序列梯度之间的映射关系)、K空间轨迹限定步骤(利用磁共振成像物理原理、成像系统的硬件参数等条件,对参数和序列施加约束)、序列噪声预测步骤以及优化步骤(对于生成的脉冲序列梯度波形,量化表示其扫描过程中所产生噪声的声学特征)。(2)开发了噪声优化的平面回波序列:对于平面回波成像序列,以每次读出为单元,将传统的梯形波改为正弦波,并定义每个读出梯度单元的时长为用于优化的参数(图1-2)。我们采用遗传算法进行参数优化,以每个读出梯度单元的时长作为优化系统的输入,以半周期正弦波形为单位,重新计算梯度幅值,构建梯度波形,预测噪声的频谱,计算对应的A计权声压级和频谱熵,用于量化表征音量和音色。采用遗传算法(genetic algorithm, GA),以降低音量、提升谱熵为目标进行优化。

人工智能降噪磁共振序列生成流程

        该技术创新在于将机器学习引入序列参数的选择,利用噪声频谱中的谱熵对序列音色进行优化,加入白噪声成分。当前国际的磁共振系统厂商(主要是西门子、飞利浦、通用电气)都有尝试设计降噪磁共振序列,然而一般都是基于工程师对噪声预判选择参数和k空间轨迹,没有将机器学习用于降噪参数的选择。另外,国际各厂家对静音序列的设计只追求分贝的降低,并没有考虑音色和听觉舒适度。目前该技术成果已经成功安装于联影uMR 790 3.0T成人磁共振系统,以及联影uMR alpha 3.0T 儿科专用磁共振系统。我们已经完成了静音序列与非静音序列在儿科大脑上的图像对比,目前共扫描14例 3个月至3岁的婴幼儿大脑。该技术的推广将有能力提供一系列快速、低噪音,的磁共振扫描序列,而且潜在广泛适用市场上的磁共振产品。不仅可以帮助0~3 岁儿科患者提供安全、舒适、温馨的磁共振扫描体验,还有望在成人仪器上使用。涉及的多项核心技术均处于国际领先水平,快速扫描、静音扫描,将拥有自主知识产权。多参数的小儿脑数据库建立也将为后续的关注小儿脑发育科学问题的课题提供独特的机会。该技术的实施将有利于我国在本领域取得技术领先优势。

儿科系统上常规序列和静音序列的图像效果对比

常规和静音功能磁共振序列对于听觉刺激对比

基于磁共振影像的端到端骨关节损伤智能评估系统

        骨关节炎(Osteoarthritis, OA)是一种常见的多因素、多机制致病的慢性退行性疾病,是引起患者关节疼痛、僵硬和活动失能的主要原因。其发病率随着年龄的增长明显增加,严重影响中老年人的生活质量;并且医疗支出巨大,给社会和家庭增加了巨大的负担,已成为全球公共性健康问题。磁共振成像技术已被广泛应用于研究软骨基质的改变,可反映软骨细胞外基质内水含量和胶原纤维的变化,对骨关节得软骨损伤具有较高的临床诊断价值。然而,基于磁共振(MR)图像的骨关节损伤诊断受到了医生的经验与主观性判断影响。中心张立箎团队基于深度学习等人工智能技术,研发具有自主知识产权的骨关节损伤智能评估系统,可实现对MR图像中各主要关注区域(region of interests, ROI)的自动分割,以及对其骨关节损伤的量化评估。通过辅助医生挖掘影像中的深度信息,可有效提高骨关节疾病诊断的准确性。

        该系统在以下领域取得突破:(1)针对MR影像的骨关节及软骨区域的自动分割技术研发:包括对图像分割方法的研究与开发、MR影像骨关节各区域的金标注分割数据采集、最终实现对目标MR矢状面影像的快速有效分割;(2)针对多视图的分割标记转换和超分辨率图像重建技术研发:包括对骨关节中三种不同视图(矢状面、冠状面和横截面)数据的采集,将来自于矢状面影像的区域分割数据有效传递至另外两个视图;同时研究结合三种视图中分割标注数据的融合,最终重建各骨关节区域的高精度及高分辨率的三维形态重建(3)基于半监督学习的骨关节损伤智能评估系统研发:包括对目前半监督算法的研究与开发、并结合注意力机制等算法、构建基于MR影像的骨关节损伤智能评估系统;并对系统进行大规模验证与推广。

        目前针对MR影像的骨关节损伤评估系统还未成熟,国外公司有使用Deep Siamese等技术实现对骨关节OA的严重程度评估,然而其引进成本高昂,并不适合国内的现实情况。与此同时,虽然可以通过MR影像评估骨关节得损伤情况,但掌握相关技能的高级医疗人才资源主要集中在三甲医院,在基层医院相对薄弱。这导致影像诊断的准确性在各级医院存在较大差异。深度学习等智能方法使得通过大数据学习专家组经验,自动提供与专家组无显著统计差异的结果成为可能。因而,本项目的研发可以给各级医院医生提供辅助影像预分析,减少诊断差异,整体提高各级医院的诊断精准性。目前已完成近4000例样本的大规模系统验证,并计划部署在多家三甲医院。

        通过构建针对MR影像的智能辅助诊断系统,可以实现对影像的自动分割,图像重建以及骨关节损伤的量化分级与评估。本项目与三甲医院开展合作,构建了针对骨关节病变的大规模数据集,并有专业医师提供的精准区域标注和分级作为模型构建的金标准,为系统的构建和完善奠定基础。本项目的开发、部署与推广将能够极大弥补不同地区机构间的诊断差异,为整体提高骨关节病变的诊断提供有益助力。

用于膝关节软骨缺损半监督分类和定位的DC-MT框架

基于视频的帕金森功能自动检测

       帕金森病是全球第二大最常见的老年慢性神经退行性疾病。由于人口老龄化问题逐渐严重,预计帕金森病会带来巨大的社会和经济负担。帕金森病会导致患者的运动能力逐渐下降,因此,对帕金森患者运动能力的评估是临床诊断和干预治疗的重要依据。神经病学家通常使用统一帕金森病评定量表(MDS-UPDRS)来评估帕金森患者的运动症状。然而,临床实践中的定量评估通常依赖于神经病学家的经验,因此评分存在着不一致性,并且十分耗时。其次,帕金森病常见于老年人群体中,患者难以实现经常性的随访以实现病情的定期监测。

        帕金森病运动症状的自动化评估为上述问题的解决提供了新的思路,不仅可以实现客观的评估,避免不同人员评分的不一致性,也有利于帕金森病远程医疗的实现,这在公共卫生紧急事件中(如最近的新冠肺炎疫情)尤其重要。帕金森病自动化运动评估系统的开发与应用变得非常迫切。因此,我们的根本目标在于开展帕金森病运动功能评估的核心技术研究,并挖掘在各场景中的应用。

        传统的基于传感器和光学设备的自动评估方法存在着诸多局限性。传感器的侵入性会对患者的运动产生干扰,并且需要定期标定和校准。尽管光学设备具有较小的侵入性,但它也需要较为专业的标定过程。然而,基于视觉的评估仅需要带有普通摄像头的设备(如智能手机)即可捕获视频数据,这种数据采集方式是非接触式的,并且易于在远程医疗的实现中进行普及。在视频数据中,动态的人体骨架通常传达着重要的信息,它的特征明确简单,并且可以有效提高运动识别系统的鲁棒性。因此,我们基于从视频中提取的人体关节点构成的骨架序列,使用基于图神经网络的深度学习技术,结合丰富的时空特征建模策略,实现基于视频的帕金森运动功能子任务的自动量化评估。

        基于以上背景,中心钱晓华团队实现了基于视频的帕金森功能自动检测技术,提出了新的图神经网络框架实现了对人体动态骨架序列的空间建模,设计了多种时空建模方式来对视频进行有效的时空特征建模,提出了多种特征选择策略,通过模型驱动的方式挖掘了潜在的判别性特征。中心团队拥有最大的数据集,病人数量和样本数量都是最多的,这提升了预测的可靠性,也使研究更加贴近临床的实际情况;该技术是完全无接触式的,仅需一个普通的摄像头即可完成数据采集,这避免了传感器的侵入性、定期校准的需求和光学设备的专业标定过程,为PD自动评估系统的实现与普及提供了方便;已有研究均采用从运动轨迹中根据人工定义的规则进行特征提取的方式,并且忽略了人在运动时各关节之间的连通性,而中心团队所采用的深度学习方案能够以端到端的形式从骨架序列中自动提取空间连通特征,这能够带来更加丰富的细粒度判别性特征。

        基于来自上海交通大学医学院附属瑞金医院功能神经外科提供的临床视频数据集,团队开展了回顾性研究。该数据集包含了2017-2020年341个帕金森患者在不同状态下的运动评估视频,这些状态为根据手术和服药情况划分的不同阶段。目前,团队已经实现了评估量表第三部分(运动功能检查)中僵直、对指试验、握拳试验、脚趾拍地运动、腿部灵活性、从椅子上站起来、步态、冻结步态、姿势的稳定性这些运动子任务的自动评估,并初步构建了帕金森病运动功能评估软件,将在不久之后投入临床应用中,预计在1年内完成临床落地,实现以下规划:(1)通过移动端完成帕金森病的早期筛查,推荐高风险患者就诊;(2)通过家庭端实现家庭随访,从而协助医生指导用药、调整治疗方案;(3)通过医院端实现临床诊断与评估,辅助量表评分,提高评估效率和精度,从而提升医院门诊服务质量。

基于视频的帕金森步态异常检测

基于空间变换的小样本肿瘤影像的人工智能算法

        肿瘤的组织活检具有局限性、盲目性和侵入性等特点,使用医学影像进行肿瘤状态的无创评估具有很大的临床需求,也是许多研究的热点和关键。深度学习模型可以从医学影像中学习深度抽象特征,从而实现自动化的癌症智能评估。但是肿瘤影像获取困难,数据量稀缺,鉴于临床问题的紧迫性、人工智能对大数据的依赖性和医学影像稀缺性之间的矛盾,我们提出了一种空间变换的数据扩增方法,解决肿瘤影像的小样本挑战。空间变换是将原始三维影像数据的目标区域按照既定的规则映射到二维平面,变换过程中保留了原始相邻像素之间的相关性,因此空间变换得到的2D图像保留了原始3D数据的纹理等特征在三维空间上的相关性。

       目前常用的数据扩增方式是利用基本的旋转平移等图像处理操作进行扩增样本或利用神经网络生成样本。前者扩增前后数据集的纹理信息差异不大,后者需要在前期利用大量的数据训练生成模型,且生成的特征具有不确定性。中心罗洁团队首次提出利用空间变换进行数据扩增的工作,基于空间变换开发了小样本肿瘤影像的人工智能算法:(1)在相同的三维空间直接坐标系的情况下,改变空间变换的具体规则或参数;(2)在相同的空间变换方式的情况下,改变空间坐标系和3D数据的相对方向或相对位置。生成的图像均包含3D数据的判别性特征,同时存在一定的互补关系,从而增加了训练集的信息量,实现了有效的数据扩增。随后,构建深度学习模型,将扩增的2D图像作为输入,实现肿瘤的细粒度分类。该技术解决了肿瘤影像中的小样本挑战,有利于肿瘤的细粒度分类,实现肿瘤的智能无创评估。

基于空间变换的小样本肿瘤影像的人工智能算法流程