介绍
荧光显微镜是生物学和医学中的一种关键成像方式，能够以高对比度和特异性研究活细胞内的分子结构[ 1 ]。任何光学成像系统（包括传统荧光显微镜）的固有限制是，由于光的衍射性质，空间信息会丢失。衍射极限决定了点源在成像系统的探测器平面处产生的光斑尺寸，即系统的点扩散函数 (PSF) [ 2]。它与光的波长成正比，与物镜的数值孔径（NA）成反比。成像系统的分辨率极限是两个点不再彼此区分的横向距离。对于具有高数值孔径的物镜，该极限分辨率大致相当于光学波长的一半，即 200 至 300 nm 左右。

在生物学研究中，许多亚细胞结构小于衍射极限，因此标准光学显微镜无法解析[ 3 ]。超分辨率技术在过去 3 年中得到了发展，以克服这一限制 [ 4 ]。单分子定位显微镜（SMLM）就是这样一种方法，它的工作原理是在亚衍射距离上重复检测和定位许多单独的点源，通常可以达到数十纳米的分辨率。SMLM 技术的显着变体包括光激活定位显微镜 [ 5 ]、随机光学重建显微镜 [ 6 ] 和用于成像纳米级形貌的点积累 [ 7 ]。

在细胞成像中，样本中观察到的结构以及它们之间的动态自然存在于 3 维 (3D) 空间中；因此，荧光源的z位置通常令人感兴趣。荧光源的另一个有趣之处在于它们用不同的颜色标记不同的实体，这是区分它们的自然且有用的方式。在标准成像中，通常使用 RGB 相机来感测光谱信息。在低信号荧光显微镜中，由于光子数量有限，这通常不实用。因此，显微镜中的多色成像通常使用光谱滤波器或不同光源以及顺序成像[ 8 ]或使用附加相机[ 9]的光路分裂来完成]、物镜[ 10 ]或传感器[ 11 ]。由于额外的光学像差或限制以及图像之间精确配准的需要，这些解决方案很容易出现复杂化[ 12 ]。顺序成像对动态样本中的运动敏感。
值得注意的是，通过设计系统的 PSF，可以在成像系统中有效地编码z位置和颜色信息。这是通过将专门设计的光学元件（即相位掩模）插入光路（通常在傅立叶平面处）来完成的，该光学元件会修改 PSF 以编码感兴趣的属性。PSF 工程已用于编码z位置 [ 13 – 16 ]、分子方向 [ 17 – 19 ] 和光谱信息（颜色）[ 20 – 22 ]。

不同的指标和方法已用于优化特定任务的 PSF。例如，深度编码 PSF 已使用 Fisher 信息最大化 [ 14 , 16 ] 或像差鲁棒性 [ 23 ] 进行了优化。在过去的十年中，深度学习成为一种强大的工具，在各种计算成像挑战中表现出色。对于 PSF 工程，深度学习已被用于优化密集发射器产生重叠 PSF 的情况 [ 15 ] 或最大光谱区别 [ 24]]。在这些“端到端”设计实例中，光学系统的硬件和软件同时学习，同时优化图像采集和重建，以产生最佳结果。

值得注意的是，在许多多色定位成像场景中，发射器的精确定位并不是真正感兴趣的数量，而是我们关心的发射器之间的距离。例如，当样品恰好由 2 个不同颜色的斑点组成时，例如活酵母细胞中标记的 DNA 位点 [ 25 – 27]，每个轨迹相对于某个全局坐标系的精确 3D 位置是无关的——只有 2 个轨迹之间的距离才是有意义的。这就引出了一个问题，我们能否设计一个基于单通道 PSF 工程的成像系统，该系统最适合确定 2 个不同颜色点之间的距离？这种专为距离确定而定制的光学系统是否会优于单独的 3D 定位？这种逻辑符合最近的任务驱动的计算成像工作，重点是为特定的计算目标定制成像系统，而不是生成吸引人的图像[ 28-31 ]。并发工作 [ 32] 最近展示了一项理论研究，建议使用 Fisher 信息最大化设计 PSF，用于 2 个单色发射器之间的距离估计。这种方法产生的 PSF 也可用于发射器数量区分以及单发射器定位；然而，模拟结果仅限于衍射极限以上的距离，这主要是因为具有挑战性的单色约束。

在这项工作中，我们设计了一个光学系统，可以对显微样品进行成像，并通过多色成像对两个不同颜色的发射器之间的标量 3D 距离（高于和低于衍射极限）进行最佳编码。我们使用 PSF 工程并设计一个神经网络来共同学习编码（任务的最佳 PSF 调制）和解码（计算与修改图像的绝对距离的相关神经网络）（图 1 A）。我们表明，与单独的 3D 位置编码多色 PSF 工程相比，这种优化可产生更出色的距离确定效果。我们通过数值和实验在固定酵母细胞中的彩色珠子和 DNA 基因座距离测量上展示了我们的方法

相位掩模被参数化为液晶空间光调制器（SLM）的每个像素的电压值。该电压模式在训练期间与网络权重一起更新和优化。给定电压值的相位延迟取决于发射器波长，从而针对不同颜色产生不同的 PSF。2 个发射器与添加的背景和散粒噪声相结合，生成逼真的噪声图像（图2）。我们还在 PSF 中添加了高斯模糊，使其看起来更真实，基于实验图像，这些图像可能由于发射器尺寸和光学系统的像差而变得模糊，这与过去的工作一致[ 15、24、34 ][ ]]。为每个训练图像中的每个发射器设置高斯宽度，以考虑发射器尺寸的变化，并在 0.5 到 0.9 像素的范围内均匀采样。手动选择范围值以生成逼真的图像。

重建模块
网络的重构模块由2个U-net组成[ 36]; 第一个是经过训练的降噪器，在添加噪声之前产生类似于 PSF 的干净图像的输出。添加降噪器 U 网背后的基本原理是处理高度详细的 PSF（其形状编码有意义的信息）与有限数量的光子（强制 PSF 被压缩（且信息较少）的约束）之间的权衡。在低信噪比（SNR）条件下。高效的降噪器会更加重视任务的编码，而不是保留 SNR。然后将去噪图像输入到第二个 U-net 中，选择该 U-net 是因为它能够组合来自图像多个尺度的特征编码信息并为下一层生成特征图表示，然后是最大池化和全连接层以最终输出一个标量，2）。

网络培训
训练和验证集由 2 个发射器的随机采样 3D 坐标组成，生成x、y和z中的各种距离，设置为 0 到 1.4 μm 范围内的成对距离，这是典型的距离范围我们的实验验证模型——酵母细胞核中的 2 个感兴趣的 DNA 位点 [ 26 ]。每个发射器产生 5,000 到 10,000 范围内的随机检测光子计数，并且对每个图像的模糊、背景和散粒噪声的噪声值进行随机采样，以生成具有不同 SNR 值的图像，类似于实验数据。

降噪器与其他组件分开训练，中间图像（第一个 U-net 输出）和添加噪声之前的 PSF 模拟图像之间存在均方误差 (MSE) 损失。由于这种分离，电压掩模和重建网络将仅针对距离损失而不是降噪器损失进行优化，这可能导致 PSF 易于去噪，但细节较少。对于每个时期，首先，仅在整个训练集上优化降噪器，仅反向传播降噪器损失，而 PSF 不变，然后将电压掩模与其余网络权重一起训练，以优化 MSE 损失输出与真实距离之间。这两个部分都有自己的 Adam 优化器和参数，
训练集包含 60,000 个示例，验证集包含 5,000 个示例，测试集包含 1,000 个示例，网络在单个 Titan RTX GPU 上训练约 8 小时。

最佳 PSF 修改和实验 PSF
网络收敛到的最佳相位掩模显示两种颜色的 PSF 非常相似，但人眼几乎无法观察到差异。对于网络重建来说，PSF 之间的这种差异显然已经足够了；因此，在模拟中，可以使用纯粹通过计算优化的原始 PSF 来完成估计。然而，为了在实际测量中通过实验验证相位掩模，当发射器非常接近时，用户可以轻松确定样品的条件是否适合验证实验，例如，2 个不同颜色的点是否是明显，未观察到光漂白，激光强度平衡等。因此，我们通过手动向其中 1 个 PSF 添加旋转来调整学习到的电压模板，以使 2 个发射器之间的差异更加明显。这些是用于实验验证的 PSF。在仿真中，手动旋转的 PSF 达到了与纯粹计算得出的 PSF 非常相似的性能（图 1）。S2）。

修改是通过以下方式完成的：采用所得的颜色相关相位掩模，旋转其中 1 个，使用校准曲线计算与其相关的电压掩模，并执行最小二乘优化以找到 2 种颜色的电压掩模之间的折衷并获得由此产生的新 PSF 电压模板（图1 C）。然后，使用旋转的 PSF 再次训练网络，以允许微调新掩模并重新训练网络权重以匹配它。

在验证我们的方法时，我们使用显微镜中实验测量的荧光微球生成了 PSF 模型。此步骤的目的是微调重建网络，以解决理想成像模型和实验显微镜系统之间不可避免地出现的任何差异。测量的 PSF 用于图像生成，而不是通过插值或相位检索来生成物理模型（稍后将对此进行解释），以便更准确地表示我们的系统，包括其像差。利用这些图像，我们使用与之前相同的训练参数重新训练网络，但由于 PSF 现在已固定，因此仅优化重建模块以匹配测量的 PSF。

显微镜检查
光学装置基于倒置荧光显微镜的 4f 系统扩展，如前所述实施 [ 24]。简而言之，我们使用了 1.45 NA 和 100× 放大倍率的油浸物镜和适用于 405/488/561/640 nm 波长的多带通滤光片。在光瞳平面中，我们放置了液晶SLM（硅上Meadowlark 1920X1152液晶）来实现相位掩模，并在其前面放置线性偏振器以滤除未调制方向上的光。使用光纤耦合激光光源照射样品，激发波长为 488 nm（绿色发射）和 561 nm（红色发射）（黄绿色，峰值发射波长为 515 nm，红色，峰值发射波长605 nm）或荧光团（增强型绿色荧光蛋白 (eGFP) 和 mCherry）。

对于生物学实验，酿酒酵母细胞在 III 号染色体上的 2 个 DNA 位点（MAT 和 HMLα）处用 2 个荧光阻遏操纵基因（FROS）系统 [ 37 , 38 ] 进行标记，以产生荧光蛋白（分别为 eGFP 和 mCherry）积累，从而在 DNA 的特定位置产生带有强信号的绿色和红色斑点。将细胞固定并放置在琼脂糖上，以避免在测量过程中移动，并通过体积的精确z扫描实现地面实况距离测量。
由于样品和浸没介质之间的折射率不匹配，物镜的轴向位移在光学上并不等同于发射器的轴向运动。因此，我们做出以下区别：z位置表示发射器相对于物镜标称焦平面的位置。散焦位置表示物镜相对于手动选择的焦点位置的轴向位置（对于酵母细胞，珠子固定在盖玻片上，或者其上方的某个z平面）。

结果与讨论
与本地化网络的比较
为了验证优化成像系统以直接测量距离而不是单独的发射器定位的好处，我们首先在模拟中将我们的距离网络与除最后一层外具有相同架构的新网络进行比较，该网络经过训练估计 2 个发射器中每个发射器的 3D 坐标（6 标量输出，MSE 损失）（图2，虚线框）。这两个网络共享相同的优化方案、超参数和噪声水平，并使用不断减少的光子计数值进行 7 次训练，以量化 SNR 方面的性能。

图3显示了 1,000 个样本测试集上估计距离的平均绝对误差与 2 个网络的平均光子数的关系。对于相对较高的 SNR，定位网络稍好一些。然而，当噪声增加，达到我们的实验图像的范围时，距离网络大大优于定位网络。这可能是因为低信噪比迫使 PSF 编码对于距离估计的特定任务来说信息量更大、效率更高，而在定位网络中，每个单独定位的累积误差变得更加显着。

彩色珠子的方法验证
为了验证实验获得的图像上的网络性能，我们测量了多色 TetraSpeck (TS) 微球，每个微球在多个光谱窗口显示荧光，并在 SLM 中应用电压掩模以获得 2 种颜色的 PSF（图 4 A）。以 100 nm 为步长沿轴向扫描单个 TS 微球，用 488 nm 激光激发，峰值发射波长为 515 nm，然后用 561 nm 激光激发，峰值发射波长为 580 nm（接近605 nm 的红珠，掩模就是为此设计的）。这些z堆栈经过插值并用于生成计算移位的珠对，替换网络中的成像模型，并用作网络再训练的实验微调数据集。

网络的第一次验证是通过 TS 测量本身进行的。我们向网络提供一个新的 TS 图像，其中两种颜色都被激发，并且 2 个 PSF 位于同一位置，因此距离估计应为 0。图像和网络输出如图4 B所示。散焦的平均绝对误差焦点周围 ±1 μm 的范围约为 34 nm，与模拟数据网络的结果类似（参见补充材料）。然后，我们使用计算构建的数据集测试网络，其中红色珠子位置恒定，绿色珠子在x和y轴 -10 到 10 的范围内以 1 像素 (0.11 μm) 为步长移动，这是对z方向上测量的每个z平面重复-stack (Δ z = 0) (图4 C)。请注意，这些合成图像实际上构成了为训练集采样的整个 3D 坐标可能性的子集。图S2显示了包含 3D 随机定位发射器的测试集的结果，包括2 个发射器的不同z位置。测试结果如图4D所示。焦点周围±1μm范围内的平均绝对误差约为13nm。

各个颜色珠子之间的距离确定
接下来，我们通过实验演示了测量固定在盖玻片上的发射峰为 515 nm 的绿色荧光微球和发射峰为 605 nm 的红色荧光微球的混合群的方法。该实验是使用 1.35 数值孔径和 100 倍放大倍率的硅胶浸没物镜完成的，在我们的系统中表现出更好的 PSF。这导致 PSF 与之前的实验略有不同，但由于我们使用测量的 PSF 重新训练网络，因此这一事实并不重要。我们手动在视场 (FOV) 中搜索非常接近的成对的红色和绿色珠子，并在没有掩模的情况下单独测量它们，以使用 2D 高斯拟合找到它们的精确位置，并获得地面实况距离估计，考虑光谱通道注册（参见补充材料）。接下来，使用 SLM 上的最佳电压模板通过焦点周围 ±2 μm 的z扫描，并将修改后的 PSF 馈送到使用测量的 PSF 进行训练的网络中。最后，使用网络估计修改后的 PSF 图像的珠对距离。15 对夫妇的结果如图5所示。对于每个珠子约77,000 个光子的平均信号水平，珠子对的平均绝对误差为约 52 nm（中值误差为约 40 nm），每个珠子对的z范围为焦点周围 ±1 μm。

图5。多彩珠对实验结果。(A) 一对红色和绿色珠子及其修改后的 PSF 一起测量的示例。比例尺，1 μm。(B) 该对的网络输出作为散焦位置的函数。地面实况的标准偏差约为 16 nm（参见S4部分）。(C)焦点周围 ±1 μm z范围内的网络距离估计与 15 对（总共 300 个样本）的地面实况之间的误差直方图。

酵母细胞中 DNA 位点的 3D 距离测定
最后，我们通过测量固定酵母细胞 DNA 中的荧光标记基因座来证明直接距离测定的适用性。我们使用带有 256xLacO-LacI-eGFP 和 112xTetO-TetR-3*mCherry FROS 系统双重标记的酿酒酵母细胞，分别在 MAT 和 HMLα DNA 基因座处产生绿色和红色斑点（图6 A和补充材料） 。将细胞用甲醛固定，安装在琼脂糖垫上，并成像 3 次：首先， z- 拍摄没有相位掩模的 1μm 范围的堆栈，每个激发波长（488 和 561 nm）分别照明以进行地面实况定位估计。接下来，在打开相位掩模的情况下对细胞进行成像，并在一次拍摄中同时激发两种颜色，以获取将作为网络输入的图像。我们选择的单元位于 FOV 的中心，以尽量减少 PSF 的场相关像差和 FOV 相关色移。

在本实验中，我们使用 VIPR [ 39 ] 相位检索算法来估计系统的光瞳平面，以获得更准确的图像形成模型，该模型被用作图像生成器中的相位掩模以重新训练网络。
真实估计定位是通过将图像拟合到 2 个高斯函数的总和来计算的——一个小高斯函数代表 PSF，一个大高斯函数代表由细胞自发荧光和未结合荧光蛋白引起的背景，类似于之前的工作 [ 12，25、26 ] 。​ 作为z函数的 PSF 拟合高斯的最小标准差用于确定发射器的轴向位置，中心用于确定x和y位置并计算 2 个光点之间的距离。像以前一样获得光谱通道注册。

由于荧光团的快速光漂白、相邻细胞的 PSF 重叠以及与折射率变化相关的畸变 PSF 形状，在酵母细胞中采集数据以进行可靠的地面实况估计以及随后对这对细胞的测量具有挑战性。细胞。我们在图6中显示了 5 个细胞的距离测量结果，以及细胞内红色和绿色的 2 个接近的 PSF 的输入图像以及来自网络的中间去噪图像的示例。定位结果和网络输出之间的平均绝对差异约为 76 nm。
结论
传统上，显微镜经过优化，可以输出针对人类观察者的最清晰的图像。然而，在计算显微镜中，这一目标已转变为为后续计算机分析提供最丰富的测量信息。在这里，我们通过在单个通道上使用光谱相关波前整形并利用神经网络，在特定于任务的光学系统优化上演示了这一概念，用于确定 2 个不同颜色点之间的 3D 距离。值得注意的是，使用模拟图像来训练神经网络，同时需要高精度的成像系统模型，可以包含许多任意的发射器位置、发射器强度比等。这有利于获得通用解决方案，14、16、32 ] 。​​​

我们已经证明，只有点之间的 3D 分离才是有意义的，而不是它们的绝对单独位置，这一事实使得光学系统和分析算法的联合设计比流行的单独定位方法更加优化。未来的工作可以包括使用深度学习来确定单色距离，与 Jusuf 等人的研究进行比较。[ 32 ]，因此简化了任何生物标记系统并由于较窄的光谱窗口而提高了信噪比，尽管代价是失去了允许亚衍射分离的强大的光谱自由度。或者，我们可以将此方法扩展到几种（> 2）发射颜色的编码（如 Hershko 等人所做的那样。[ 24]] 用于颜色分类）并研究更复杂的动力学，特别是染色体组织研究 [ 40 , 41 ]。此外，提高设计对光学像差的鲁棒性，使模拟和实验之间具有更大的一致性，并训练网络处理包含拥挤细胞的图像，以实现细胞群的高通量成像，这将是有用的。

最后，值得探索最佳PSF解决方案；值得注意的是，这项工作中提出的解决方案只有一种可能性，即局部最小值，这自然会引发有关该问题的全局最优解决方案的问题：不同的架构、损失函数或掩模初始化是否能够学习更精细的设计例如 PSF 之间的旋转，这里是手动添加的吗？也许网络可以学习颜色之间不同的横向移动来分离附近的发射器？最终，了解用于发射器距离测量任务的多色 PSF 工程系统的基本物理界限将是非常有趣的[ 42 ]。