介绍
COVID-19 由严重急性呼吸综合征冠状病毒 2 病毒引起，是一种多器官传染病，因此可以影响身体的许多部位，但主要影响肺部及其周围环境。1 COVID-19 是一种急性疾病，随着时间的推移，可能会迅速改善或恶化，一旦检测呈阴性，患者仍可能出现症状。这些症状可能会持续几天或几周，就像普通流感等其他疾病一样，但它们也可能无限期地持续。当这种情况发生时，患者被诊断患有持续性 COVID-19 后综合症 (PPCS)。2在某些情况下，这种综合征会严重影响患者的生活质量。特别是，鉴于 COVID-19 会影响肺部周围环境，隔膜（参与呼吸过程的重要肌肉）可能会受损。3膈肌功能障碍（即膈肌无力或瘫痪）除了 PPCS 之外，还可能引发多种根本原因，例如中风、神经系统疾病（例如多发性硬化症或肌萎缩侧索硬化症）或影响膈神经的问题。4鉴于隔膜在呼吸过程中的重要性，其功能障碍会导致呼吸短促、睡眠障碍和疲劳等症状。膈肌功能障碍已在慢性阻塞性肺病等其他常见病理中进行了深入研究，作为参考。5 – 7这种功能障碍可以通过确定隔膜两侧（通常称为半隔膜）之间的间隙来评估。该距离可用于量化患者在给定时间点的呼吸能力并了解其随时间的演变。此过程可以通过肺部超声 (LU)、8胸部 X 光检查9或计算机断层扫描 (CT) 等成像方式来执行。10特别是，胸部 CT 图像以高分辨率和细节水平提供了探索区域的三维捕获。然而，这种图像模式更昂贵且难以执行。鉴于疫情最严重的高峰期导致医疗服务饱和，首选的解决方案是胸部 X 光成像，因为在短时间内处理大量患者时更容易管理。除了这些困难之外，在大流行期间，有必要优先使用便携式胸部 X 射线设备而不是固定机器。11这种优先顺序的动机是便携式胸部 X 射线设备更容易净化，这是防止交叉污染风险的关键因素。此外，许多重症患者因病情需要卧床休息，无法前往放射科室。从这个意义上说，便携式设备可以移动到患者所在的地方并使用，这一方面解决了前面提到的问题。尽管具有所有这些优点，但使用此类设备的主要问题是所捕获图像的质量和细节水平较低。在这种情况下，可以研究计算机辅助诊断（CAD）系统的开发，作为帮助临床医生量化特定患者膈肌功能的一种选择。

除了评估膈肌功能外，使用胸部 X 光等成像方式对肺部感兴趣的几个结构进行分割也是一项相关任务。这些任务的主要目的是自动获取图像的感兴趣区域 (ROI)，消除可能给 CAD 系统带来噪声的信息。这有助于提高其他任务的性能，例如胸部 X 射线图像中的 COVID-19 筛查和分类，自大流行开始以来，该范围已做出了大量贡献（作为参考，12 – 19）。在此背景下，一些工作被提出。作为参考，阿斯兰20的作品提出了一种在这种成像模式中诊断 COVID-19 的方法，使用 DeepLabV3+ 架构进行肺部分割作为其流程的一部分。其他作品使用 U-Net 架构来执行肺部分割，如 Rahman 等人的情况。21和维达尔等人。22在后一种情况下，作者使用在脑 MRI 图像数据集上预先训练的 U-Net 模型来分割便携式胸部 X 射线图像中的肺部。另一方面，阿拉姆等人。23提出了一种改进的 U-Net 架构，用双向卷积长短期记忆模块取代跳跃连接来执行肺部分割任务。特别是，与膈肌功能相关，肺部的分割有助于确定该结构的边界和位置。因此，同时进行半膈标志的定位和肺部分割可以帮助模型更准确地完成这两项任务。从这个意义上说，多任务学习是最先进的框架，它利用了两个或多个同时任务进行训练的优势24。鉴于过去几年 COVID-19 所产生的影响，许多著作利用胸部 X 射线图像探索了不同的问题，提出了多任务范例。作为参考，Park 等人的工作。25开发了一种方法，由基于 Transformer 编码器架构的共享主干和两个不同的头组成，可同时执行 COVID-19 分类任务和严重性评估任务。以马尔霍特拉等人为例。26，作者提出了一个名为 COMiT-Net 的模型。该模型具有多任务结构，可同时检测图像是否表现出 COVID-19 感染，并通过语义分割显示症状区域。此外，还利用 CT 图像数据集探索了多任务学习的应用。作为参考，Polat 27的工作提出使用 DeepLabV3+ 来分割 COVID-19 病变。使用多任务的目的是同时对这些病变进行多个细节级别的分割，范围从二元分割（区分病变和无病变）到更详细的语义分割（区分不同类型的病变，例如实变或非病变）胸腔积液等）。

膈肌位置和运动的表征是评估膈肌功能的一项重要任务。在这个特定范围内的贡献主要可以在LU或CT图像中找到，但在胸部X射线领域也有一些文献。作为参考，Heidari 等人。28提出了几种预处理策略，以提高经过训练以检测胸部 X 射线中的 COVID-19 的卷积神经网络 (CNN) 的性能。作为这些预处理策略的一部分，作者包括使用平面阈值去除隔膜。总体而言，可以看出，最先进的作品都没有提出一种方法来定位半隔膜的标志，并有可能确定感兴趣的结构或相关生物标志物之间的差距。与此相关的是，值得注意的是，标志点的定位是许多计算机视觉问题中的一项关键任务，例如人脸标志点检测。29这也适用于许多生物医学成像问题和模式。30使用深度学习进行地标检测的一种直接方法是端到端范例，该范例提供输入图像并返回检测到的点的坐标。然而，这种类型的范例失去了卷积网络架构的部分优势，如局部连接或权重共享。为了充分利用这种架构的功能，许多生物医学成像工作都提出了所谓的热图回归作为其流程的一部分。31作为参考，Silva 等人。32提出了一个由不同步骤组成的自动流程，用于评估 CT 图像中漏斗皮的严重程度。该方法的主要目标是在给定不同的地标的情况下对相关切片执行多项测量。特别是，作者考虑使用热图回归来检测这些地标。在 Kirnbauer 等人中。33，作者开发了一种在锥形束 CT 图像中检测根尖周病变的方法。为此，有必要获得某些物体（例如牙齿）的坐标。在该场景中，使用热图回归方法来预测坐标。关于视网膜成像的范围，一些工作提出了用于中央凹定位或视神经盘中心定位等任务的热图回归。作为参考，这是 Meyer 等人的案例。34，Hervella 等人。35、Al-Bander 等人，36或 Marin 等人，37。

据我们所知，目前最先进的方法都无法解决在 COVID-19 患者的便携式胸部 X 射线图像中定位半膈标志的挑战。与固定成像相比，便携式胸部 X 射线成像面临独特的挑战，包括图像质量较低以及成像过程中患者移动的可能性。此外，现有方法没有提供同时定位半膈标志和分割其他病变中的肺部的解决方案。

为了填补文献中的这一空白，我们提出了一种新颖的全自动深度学习方法，该方法采用热图回归范例来同时定位半膈的标志并分割胸部 X 射线图像中的肺部。我们方法的生成器架构基于由编码器和解码器组成的全卷积网络。编码器从输入图像中提取特征，而解码器生成用于定位半膈标志的输出热图和用于肺部分割的二进制掩模。我们引入了一种集成损失函数，该函数结合了肺分割的骰子损失和半膈标志定位的均方误差（MSE）损失，以促进生成器的学习。

为了验证我们方法的可行性和潜力，我们进行了一项详尽的研究，其中包括四种不同的分析。通过这些分析，我们证明了我们提出的方法在解决 COVID-19 患者便携式胸部 X 射线图像中膈肌标志的多任务定位和精确肺部分割的挑战方面的有效性和潜力。
•    
分析一：消融研究，为热图回归找到最合适的饱和距离值。该分析探讨了饱和距离对模型性能的影响，因为该参数在热图回归中至关重要。该研究涉及使用不同饱和距离训练和测试模型，并比较结果以确定产生半膈标志最佳定位的最佳值。在此分析中，我们还包括统计测试来支持给定的讨论。
•    
分析二：研究训练过程中两项任务之间的最佳平衡。在本次分析中，我们研究了平衡两项任务训练过程的最佳方法：半膈肌的地标定位和精确的肺部分割。该研究旨在确定训练过程中分配给每个任务的最佳权重比例，从而使整个系统达到最佳性能。
•    
分析三：每个任务单独获得的性能与同时执行两个任务时获得的性能的比较。该分析对于证明所提出的完整系统的附加值非常重要，因为这两项任务的同时执行可以更有效、更准确地定位半膈标志并精确分割肺部。
•    
分析四：系统返回的输出的定性讨论。目标是确定模型在各种情况下的鲁棒性，例如胸部 X 射线图像中是否存在异常、患者体位的变化以及使用便携式胸部 X 射线图像的影响。该分析还可以确定需要改进的潜在领域和未来的工作。此外，在本次分析中，我们还研究了使用 GradCAM 算法的模型提供的激活图。

本文其余部分的结构如下。首先，“材料和方法”部分描述了所使用的数据集（“CHUAC 数据集”小节）、方法的总体步骤（“方法论”小节）以及训练过程的不同细节（“网络架构和训练细节”小节） ）。之后，“结果与讨论”部分详细介绍了实验后获得的结果，并进行了相应的讨论。最后，“结论”部分讨论了从工作开发中提取的主要结论以及未来工作的一些可能的思路。

材料和方法
在本节中，我们将在“CHUAC数据集”小节中详细介绍所使用的数据集的各个方面，并在“软件和硬件资源”小节中详细介绍所使用的软件和硬件资源。此外，方法论的描述显示在“方法论”小节中，培训过程的细节在“网络架构和培训细节”小节中描述，特别关注区分每个任务和特定需求的那些方面。多任务范例。最后，所使用的评估指标在“评估指标”小节中进行了解释。

CHUAC数据集
在这项工作中，我们使用了由拉科鲁尼亚大学综合医院 (CHUAC) 提供的便携式胸部 X 射线图像数据集，该数据集是专为本工作目的而设计的。该数据集仅由 COVID-19 患者组成，共有 673 张图像，这些图像是在 2020 年大流行的第一个高峰期间捕获的。该数据集是手动标记的，包括手动分割双肺和两个肺部的位置半膈动物的标志，共有 1346 个标记的肺。这些图像是使用 2 台不同的便携式机器获得的，其型号为 Agfa dr100E 和 Optima Rx200。由于前面提到的交叉污染风险，这些捕获是在专门用于治疗 COVID-19 患者的隔离医疗翼中进行的。使用前后投影拍摄受试者仰卧位的图像。为此，该设备配有一个带有 X 射线管的柔性臂，可以放置在患者身上。然后，放置在患者身下的记录板负责捕获图像。

，因为必须从可能具有与 COVID-19 兼容但由其他疾病（例如更常见的肺炎类型）引起的病理病例中仔细过滤捕获的数据。此外，一些患者的危急情况以及便携式设备捕获图像的方式意味着对象位置存在很大的异质性，与可以更精确地定位患者的固定机械相比。

目前的研究已获得相应伦理委员会的批准，代码为2020-007。为了遵守道德要求，所有患者在被发送给任何外部合作者之前都被方便地匿名。此外，所有图像都安全地存储在适当的私人服务器中，仅限制项目成员的访问。所有流程均按照与医院董事会达成的协议协议进行。值得注意的是，所有病例均经过 CHUAC 工作人员的目视检查，以找到感染 COVID-19 的证据。RT-PCR 测试证实了这一可视化结果。

此外，可以补充的是，加利西亚人口具有非常独特的特征，与葡萄牙人口甚至北非血统密切相关，这使得加利西亚人口与西班牙其他地区显着不同。38在创建此数据集时，我们遵守了有关数据集包含的严格要求。这些标准是与提供数据的机构合作精心设计的，以确保它们准确地代表我们假装建模的人群。此外，上述标准已考虑到与可能出现的偏见相关的方面。特别是阿尔瓦雷斯-罗德里格斯等人。39Statsenko 等人表明，不同的性别对 COVID-19 的参与没有显着影响，而根据 Statsenko 等人的研究，某些年龄组的性别之间可能存在轻微的差异。40 . 除此之外，两项工作都同意年龄是一个重要变量，必须考虑它对模型性能的可能影响以及讨论结果的方式。所有这些要素都在前面提到的标准中得到考虑。

为了结束本节，值得注意的是，尽管使用便携式胸部 X 射线图像数据集（因此质量、细节水平较低，并且通常存在明显的伪影），但我们还是开发了这种方法，因为尽管存在上述问题，以前最先进的作品已经展示了处理此类输入的强大能力。

软硬件资源
本文提出的方法的实现是使用 Python 3（版本 3.8.10）完成的。首先，对于此实现，需要使用表 1中描述的几个库。这项工作选择的主要框架是 torchvision 和 torchvision 库，它能够使用深度学习模型来训练和验证计算机视觉系统。这两个库都配置了 CUDA 支持，可以通过硬件加速来加速训练和推理过程。此外，还需要添加其他计算机视觉和图像库的一些功能：opencv 和 scikit-image。同样，机器学习库 scikit-learn 还需要其他功能来获取评估指标。此外，pandas 库用于处理 CSV 文件，而 numpy 则用于处理 Python 中的数组。其次，我们还指定了表2中所使用的硬件的特性。具体来说，这项工作的实验是使用具有 2 个 GPU（每个 80 GB）和驱动程序版本 460.106.00 的 NVIDIA Tesla A100 进行的。

方法
在这项工作中，我们提出了图 2所示的新颖的多任务范例。该范例同时执行热图回归的任务 I（随后定位半膈的标志）和精确肺部分割的任务 II。对于这种方法，有必要调整网络架构并为每个任务提出一个损失函数。本节对所有这些方面进行了深入详细的介绍。

热图回归（半膈标志的定位）。给定任意地标的坐标，热图计算如下。最初，需要计算图像中每个像素的坐标与目标地标的坐标之间的距离。为了计算距离，可以使用Minkowski 43、 Mahalanonbis 44或余弦相似距离45等多种度量。特别是，对于本文提出的方法，我们采用了 Hervella 等人提出的范例。35，因为我们认为它与我们的提案最密切相关。该范例考虑使用欧几里得距离，这是回归问题中常用的方法，因为它是医学成像和其他领域的最新技术中公认的方法46 – 48。因此，通过计算图像的每个点与目标之间的欧几里德距离，可以获得热图。

网络架构和训练细节
关于所使用的网络架构，考虑到其适用于医学成像任务，我们采用了原始的 U-Net 结构49 。图 4详细介绍了该架构。U-Net 具有编码器-解码器结构。编码器部分有四个下采样块（图中的块1-4），而解码器由四个上采样块（图中的块6-9）组成。块 5 的目的是连接两个部分。

评估指标
为了分析训练模型的能力，我们使用最先进的指标。鉴于两个执行任务的性质不同，所考虑的评估指标对于每种情况都是特定的。对于任务 I，使用与 Marin 等人提出的方法类似的方法来评估半膈标志的定位。37 . 特别地，精度将被测量为低于阈值的点数除以总点数。为了进行更详尽的分析，这个阈值将是渐进的。

结果与讨论
在本节中，我们介绍不同设计的实验所获得的结果。特别是，我们进行了四种不同的分析。第一个分析旨在找到最令人满意的饱和距离值，对于热图回归过程，在“分析 I”小节中详细介绍，包括统计测试以发现结果之间的显着差异。第二个分析的目的是在多任务范例的热图回归任务和精确肺部分割任务之间找到最合适的平衡，如“分析 II”小节中所述。在第三种分析中，目标是比较每项任务在单独执行时以及与另一项任务互补时获得的性能，这在“分析 III”小节中进行了深入解释。最后，第四个分析的目的，在“分析四”小节中解释，是在定性的角度下展示和讨论一些最具代表性的结果，包括对网络提供的激活图的分析。最后，“与最先进的比较”小节提供了将本文报告的结果与其他密切相关的最先进作品进行比较的讨论，而“研究的局限性”小节解释了主要局限性我们在工作中发现了这一点。

与最先进的比较
关于与其他作品的比较，重要的是要澄清一些必须面对的重要挑战。我们的贡献提供了一种独特的全自动多任务方法，可以同时识别半膈的位置并实现精确的肺部分割。然而，尽管执行这两项任务，我们工作的主要创新在于检测半膈标志，而肺部分割作为辅助任务。鉴于我们工作的开创性，与现有方法的直接比较提出了一些重要的挑战。这主要是由于缺乏包含适合本工作中执行的特定任务的手动地面实况标签的数据集。尽管如此，可以与其他先前的肺部分割方法进行比较。图 22使用来自与本工作中考虑的类似数据集的便携式胸部 X 射线图像，报告了 0.9447 的骰子分数。此外，使用固定胸部 X 射线设备获得的不同公共图像数据集的其他作品的骰子分数为 0.9421 21和约 0.9500 23。可以看出，比较表明我们的结果与既定研究报告的指标一致，甚至略高于其他类似方法。再次需要指出的是，这种比较是在不同的条件、不同的数据集和实验方案下进行的，尽管试图进行最公平的比较，但必须谨慎对待。另一方面，关于半膈标志的定位，我们研究的独特前提意味着现有文献中没有直接可比的研究。

研究的局限性
在这项研究中，我们可以指出一些局限性。首先，所使用的数据集代表了一个非常特定的人口群体。这使得有必要对方法进行小的调整，以防要研究的另一个不同数据集具有与我们研究中呈现的特征非常不同的特征。其次，关于临床相关性，尽管这种自动计算方法是与它所针对的临床专业人员一起开发的，但仍然有一些点必须分析。这对于确保临床医生目前遵循的手动、繁琐、耗时且容易出错的流程在日常实践中得到正确采用是必要的。在所呈现的作品中，用户友好性等方面以及可能成为采用障碍的其他因素都没有得到讨论。此外，潜在的最终临床应用，如膈肌功能量化或从肺部提取临床相关生物标志物，在这项工作中尚未得到探索。最后，尽管对半膈点定位的不同误差度量的探索很有趣，但这项工作仅评估了使用欧几里得距离获得的性能，而欧几里德距离被发现是一种幼稚的方法。

结论
在这项工作中，我们提出了一种新颖的全自动方法，可以按照多任务范例同时预测代表性半膈标志的位置，并精确分割来自 COVID-19 患者的便携式胸部 X 射线图像中的肺部。半膈标志位置的预测是在所谓的热图回归的支持下进行的，热图回归是一种预测图像的任意像素成为实际目标点的可能性的方法。精确的肺部分割是按照端到端的方式开发的。为了实现这项工作的目的，U-Net 架构进行了调整，包括两个输出头，一个对应于热图回归，另一个对应于精确的肺部分割。为了研究该方法的适用性，进行了四种不同的分析。第一个分析旨在研究热图回归的最合适的饱和距离值（直接与热图扩展相对应）。第二个分析是为了研究关于多任务范式的两个任务之间最合适的平衡。在第三个分析的情况下，我们对每个任务单独获得的结果（即独立的热图回归和肺部分割，没有其他任务的额外贡献）和任务相互补充时的场景进行比较。最后，在第四次分析中，我们从定性的角度研究了模型获得的输出。这项工作中获得的结果证明了在胸部 X 射线图像中定位半膈标志和肺部感兴趣区域的可行性，这可以提高其他任务（例如自动筛查）的性能。值得注意的是，尽管向系统提供便携式胸部 X 射线图像，与固定机器相比，其提供的质量和细节水平较低，并且患者位置存在很大的可变性，但仍获得了这种高性能。 ，考虑到它们的放置精度可能较低。据我们所知，这是第一个使用 CNN 架构同时执行半膈标志定位和精确肺部分割的工作。比如自动筛选。值得注意的是，尽管向系统提供便携式胸部 X 射线图像，与固定机器相比，其提供的质量和细节水平较低，并且患者位置存在很大的可变性，但仍获得了这种高性能。 

考虑到它们的放置精度可能较低。据我们所知，这是第一个使用 CNN 架构同时执行半膈标志定位和精确肺部分割的工作。比如自动筛选。值得注意的是，尽管向系统提供便携式胸部 X 射线图像，与固定机器相比，其提供的质量和细节水平较低，并且患者位置存在很大的可变性，但仍获得了这种高性能。 ，考虑到它们的放置精度可能较低。据我们所知，这是第一个使用 CNN 架构同时执行半膈标志定位和精确肺部分割的工作。考虑到它们的放置可能不太精确。据我们所知，这是第一个使用 CNN 架构同时执行半膈标志定位和精确肺部分割的工作。考虑到它们的放置可能不太精确。据我们所知，这是第一个使用 CNN 架构同时执行半膈标志定位和精确肺部分割的工作。

所提出的方法在临床背景下具有巨大潜力，因为它可以帮助在 COVID-19 和其他肺部病理学领域进行相关分析，因为评估隔膜和肺部解剖结构的其他相关部分（例如肺）的重要性某些肺部疾病可通过实质组织来衡量疾病损害的程度。得益于该方法，临床医生在处理大量患者时可以快速、准确地获得帮助。特别是，除其他任务外，该方法可用于量化膈肌功能并提取指示病理情况的相关生物标志物。同样，本文提出的结果，尽管主要用于 COVID-19 后的研究，但也可以作为对其他病理学甚至不同的医学成像模式和设备进行类似研究的参考。未来工作探索的其他可能领域是使用不同于欧几里得距离的替代距离误差度量来评估性能，例如 Minkowski、Mahalanobis 或余弦相似距离。