中国科学院分子影像重点实验室与北京航空航天大学医学科学与工程学院开展合作研究，研发了一种新型磁纳米粒子成像的系统矩阵校准方法，通过软硬件多模态信息融合互补以及高效利用无标注数据的预训练策略，实现了3D系统矩阵快速且高质量的超分辨校准。相关研究成果近期发表于中国科学院工程技术1区Top期刊IEEE Transactions on Medical Imaging（SCI IF：10.6），论文题目为“Progressive Pretraining Network for 3D System Matrix Calibration in Magnetic Particle Imaging”。

磁纳米粒子成像（Magnetic Particle Imaging，MPI）是一种新型高灵敏高分辨率的断层成像技术。基于系统矩阵（System Matrix，SM）的重建方法是当前主流的图像重建算法，然而系统矩阵的测量十分耗时。同时系统矩阵会随着示踪剂和磁场环境的变化而改变，系统矩阵也就需要反复重新测量。因此，快速的系统矩阵校准方法对磁纳米粒子成像的广泛应用十分关键。然而现有基于压缩感知和深度学习的系统矩阵快速校准主要有以下两个不足：（1）没有考虑系统矩阵的整体性，缺少对系统矩阵行之间的关系建模。（2）缺少对低分辨率系统矩阵的利用。当前的深度学习方法都是有监督的，无法利用大量的无标注（低分辨率）的系统矩阵数据。

针对上述问题，研究人员通过可视化分析，论证了系统矩阵中行间可以通过频点的频率指数和线圈通道来建模，创新性地提出了一种渐进式多模态神经网络来进行系统矩阵超分校准（图1）。该方法利用基于Transformer的自注意力机制来进行软硬件信息融合，通过系统矩阵中频点的频率指数和线圈通道两个硬件信息来建模系统矩阵行间关系。同时，该方法提出一种渐进性式预训练方法来高效地利用无标注数据，给神经网络一个合适的优化起点。

图1. 本文提出方法的流程框架。(a)利用Transformer来编码多模态信息。(b)高效利用无标注数据的渐进式预训练方法。(c)在精标注数据上的微调过程。

研究人员将所研发的方法在MPI仿真数据集与公开数据集上进行验证，相比于单模态方法在系统矩阵任务上提升了约23.4%，在成像质量上提升约15%，将系统矩阵的校准时间从上百小时降低至百秒级别。同时，该方法应用于磁场自由点（图2a）和磁场自由线（图2b）两套自主研制的MPI成像设备当中（图2），在无需测量高分辨率的系统矩阵情况下提升了MPI成像分辨率（图2右）。

图2. 自主研制的MPI成像设备与成像仿体实验。左图：(a)磁场自由点MPI设备结构图。(b)磁场自由线MPI设备结构图。（c）数字仿真仿体。（d）线对实物仿体和（e）血管实物仿体。右图：（d）和（e）实物仿体的原始低分辨率成像结果与经过本文提出的系统矩阵校准方法提升成像分辨率结果。

本文提出的基于Transformer的自注意力机制的系统矩阵超分辨技术，有效减少MPI系统矩阵校准时间的同时提升了成像质量，有望提高MPI成像设备在复杂场景中的实用性。该论文由北京航空航天大学一年级博士研究生石根为第一作者，实验室助理研究员尹琳为共同第一作者，惠辉研究员和田捷教授作为并列通讯作者。本文研究工作得到了基金委国家重大科研仪器研制项目（部门推荐）和北京市杰出青年科学基金等项目资助。

原文链接：https://ieeexplore.ieee.org/document/10189221