背景
与更年期水果（例如香蕉、苹果或芒果）积累足够的淀粉储备以实现采后成熟不同，葡萄浆果必须在葡萄藤上成熟，其成熟速度是水和蔗糖通过韧皮部的转移速度。成熟涉及韧皮部卸载的质外体途径的突然激活[ 52 ]，这导致第二个生长阶段，在此期间每个浆果积累约1M己糖并变得有色[ 5,22,36,42 ]。然后，韧皮部卸载的最终停止会触发一个或多或少明显的枯萎期，称为过度成熟 [ 30 , 41]。人们普遍认为，这些动态过程受到强烈的发育和转录组控制 [ 12 , 39 ] ，并且可能根据基因型及其与环境条件 (G × E) 的相互作用而变化，特别是光、温度和水的可用性 [ 45 ]。大量的研究工作致力于了解这些过程的物候、生理和分子起源，以更好地预测全球变化对葡萄产量和质量的影响[ 3​​7 ]。

然而，由于缺乏有效的非破坏性表型方法来单独研究浆果，知识体系主要基于对随机选择浆果的定期样本的平均进化的测量。这种方法忽视了代表未来收获的水果种群的异质性。此外，最近对单一浆果的稀缺研究揭示了这些与种群相关的样本从物候学和代谢的角度来看是多么的不切实际。例如，当考虑几种浆果之间的平均进化时，两个浆果之间的发育滞后几乎与它们的生长持续时间一样长，这一事实导致第二个生长期的持续时间被高估了两倍 [ 5 , 42]。此外，混合生长和枯萎的浆果会导致平均偏差，即在晚熟过程中保持恒定的体积，并且韧皮部质量流中的多余水分必须释放到木质部回流中[ 25 ]。因此，显然需要开发对单个水果组进行时间和非破坏性监测的方法。

近红外、荧光和高光谱成像等无损光谱测量方法在基于浆果成熟度评估的收获日期预测方面受到了相当多的关注（例如[ 13、24、33 ]]）。这些方法的主要优点是它们消除了溶质提取和物理化学测试的需要，并且使得在地块水平上客观化成熟度的异质性成为可能。然而，这种数据采集实际上可能与收获代表性样本一样乏味。它还忽略了体积增长的动力学，而体积增长的动力学对于预测产量和区分糖积累阶段及其最终浓度至关重要。或者，可以使用葡萄串的延时 RGB 成像来监测单个浆果的外观随时间的变化，例如浆果体积或浆果颜色。事实上，这些外部特征的动态与浆果成熟过程中发生的内部物理化学变化密切相关，因此可以用作研究成熟动态的代理。28 ]，只有这些任务的自动化才能允许足够大的采样以获得成熟过程及其可变性的代表性视图。

第一个自动化任务是检测和分割单个浆果。这项任务具有挑战性，因为浆果的外观（例如形状、大小、颜色、光照程度）存在自然变化，而且它们经常与其他浆果和植物部分重叠。对于许多水果，例如橙子 [ 16 ]、蓝莓 [ 18 , 34 ]、苹果 [ 17 , 23 ]、草莓 [ 38 ] 和葡萄浆果 [ 43 ]，深度学习已被证明是解决此问题的有效方法。在所有这些研究中，实例分割模型（例如 Mask R-CNN [ 20]）接受了对可见水果部分进行手动注释的培训，以检索每个水果的明显轮廓。该策略适用于测量它们的颜色[ 43 ]、对它们进行计数以估计产量[ 51 ]或定位它们以进行自动水果采摘[ 47 ]。然而，它错过了浆果被邻近水果部分覆盖的遮挡部分，这种情况经常出现在普通串中，从而无法扣除与其真实形状（例如体积）相关的统计数据。为了解决这个问题，[ 31]使用椭圆拟合作为分段轮廓的后处理来推断单个浆果的合理的内在轮廓。或者，深度学习模型可以在注释上进行训练，猜测在没有遮挡的情况下每个水果的形状，以便分割模型的预测直接推断出完整的水果形状，包括它们的隐藏部分[ 1,9,27 ]]。在这种情况下，注释协议以及从可见部分推断出隐藏部分的程度至关重要，因为注释错误将被模型学习并直接改变预测。通过使用合成图像训练模型（可以生成不同级别的遮挡）、人工叠加孤立水果和其他植物元素的图像 [ 21 ] 或在 3D 图形软件中渲染植物模型 [ 2] ，可以解决更高级别的遮挡问题。 ]。

第二个自动化任务是在连续的时间步骤中跟踪分段的浆果，以推断个体的体积和颜色动力学。大多数水果跟踪算法解决了不同视点之间的分段实例的匹配问题，或者随着时间的推移在每秒几帧的短视频（秒到分钟）上的问题[ 27,50,53 ]。洪多等人。[ 21 ] 成功地在几周内跟踪苹果，但实例数量非常有限（两个分开的苹果），这远远不是在很长一段时间内跟踪数十到数百个重叠实例的问题，因为浆果成熟后所需。

在本文中，我们介绍了一种全自动方法来测量和跟踪葡萄串延时图像上单个浆果的大小和颜色。该方法从检测模型开始，识别足够可见的浆果，以合理推断其大小。其次，使用源自快速原始注释方法的训练数据集训练分割模型来推断单个浆果的可见和隐藏轮廓。椭圆进一步拟合在分段轮廓上，以计算每个浆果的位置和形状参数。最后，我们采用了一种跟踪算法，为检测到的浆果分配时间一致的标签，同时处理浆果的整体变形。该方法在 PhenoArch 平台获取的图像时间序列上进行了测试 [ 8]，评估量化单个浆果生长动力学的方法的质量和局限性。我们最终展示了这种前所未有的数据分析如何为葡萄浆果的成熟动态提供新的见解。

材料和方法
植物材料、图像采集和数据集组成
完整的流程（分割和跟踪）在 2020 年和 2021 年进行的两次独立实验的图像数据集上进行了测试，实验分别持续 51 天和 32 天，每个实验包含 9 株葡萄 ( Vitis vinifera L.) 植物。对于每种植物，每 8 小时拍摄一次所选葡萄藤串的 RGB 图像（2048 × 2448 像素）。另一个数据集包括来自最大化遗传多样性的多样性面板的 78 个葡萄基因型的束图像 [ 35 ]，用于增强浆果分割流程的训练和评估（无需跟踪）。所有实验均在 PhenoArch 表型平台上进行 ( https://www6.montpellier.inrae.fr/lepse_eng/Phenotyping-platforms-M3P/Montpellier-Plant-Phenotyping-Platforms-M3P/PhenoArch），托管于 M3P（蒙彼利埃植物表型平台）[ 8 ]。

图像是使用 PhenoArch 的成像舱拍摄的，该成像舱包括 RGB 相机（Grasshopper3，Point Grey Research，Richmond，BC，安装在机器人 XYZ 臂和 LED 照明（5050–6500 K 色温）中）。对于每种植物，束在实验开始时手动记录位置，然后使用机械臂（详细信息请参见[ 7 ]）将相机自动定位到实验过程中的固定时间一致位置，从而获得该束的详细镜头。

单个浆果的检测、分割和特征提取
此步骤的目标是（i）检测适合形状推断的浆果，定义为在葡萄串图像中一半以上轮廓可见的浆果，（ii）推断其完整形状，以及（iii）提取允许的特征量化它们的大小和颜色。前两个子步骤依赖于深度学习模型，这些模型必须根据完整浆果轮廓的注释进行训练，从而推断出其隐藏部分。

A）
注释数据集的构建

带注释的数据集包含从三个实验中采样的 159 张图像（表 1）。采样的目的是最好地覆盖所有生长阶段，并最大限度地提高数据集中浆果在大小、形状、颜色、纹理、模糊和阴影方面的视觉多样性。它还包括浆果之间或与其他植物器官和物体之间的不同程度的遮挡。

表1 带注释的数据集
全尺寸桌子
使用 Labelme [ 49 ]将总共 6134 个浆果手动注释为多边形。与[ 31 ]类似，仅对至少一半轮廓可见的浆果进行注释。根据对其形态特征的评估，未达到豌豆大小阶段的浆果被拒绝，因为它们与研究成熟无关。对于每个浆果，沿着其轮廓的未覆盖部分平均仅放置 8 个点（至少 5 个）（图 1 A）。然后，使用最小二乘椭圆拟合[ 14到点集（图 1 B；蓝线），其中
椭圆的中心坐标，和分别是短椭圆轴和长椭圆轴的长度，以及椭圆旋转。和进一步推导为包围椭圆的最小框的宽度和高度。

图。1
图1
浆果注释程序。原始标签，由沿着浆果边缘手动绘制的简单多边形（5 到 10 个点）组成，至少 50% 的轮廓可见。B猜测浆果的实际轮廓，通过注释点上的自动椭圆拟合（蓝色）获得。C从注释数据集生成的实例，用于训练分割模型。每个实例对应一个浆果，我们显示拟合的椭圆参数、图像输入和目标二进制分割掩模

全尺寸图像
然后将该数据集（表 1）分为训练（129 个图像；4447 个标签）、验证（10 个图像；814 个标签）和测试（20 个图像；873 个标签）子集。每个子集包括不同的植物，以更好地评估检测和分割模型的通用性。我们还将测试子集限制为训练子集中不存在的基因型，以确保我们的方法能够推广到广泛的遗传多样性。因此，测试子集仅基于 2022 年实验的图像，该批次的平均浆果含量较少。

b)
检测可测量的浆果

为了检测葡萄串图像上的可测量浆果，训练了 Yolov4 深度学习对象检测模型 [ 6 ]，以在图像的 416 × 416 px 子部分中找到至少 50% 可见轮廓的浆果周围的边界框（图 2 A、B)。

图2
图2
浆果检测和分割管道。在 PhenoArch 平台中获取的葡萄串的 RGB 图像 [ 8 ]。B由经过训练的 Yolov4 深度学习模型检测到的边界框（红色矩形），该模型经过训练可识别具有至少 50% 可见轮廓的浆果。C在检测到的框的中心坐标周围裁剪晕影，并将大小调整为 128 × 128 像素。调整大小可确保浆果无论大小如何，都在插图中占据相似的空间。D由 U-Net 深度学习模型对浆果小插图预测的二进制分割掩模。该模型经过训练可以在没有遮挡的情况下推断浆果的形状。乙从分割掩模中提取的轮廓点的椭圆拟合，以及椭圆（红色）在原始图像上的投影

全尺寸图像
通过裁剪训练图像的 416 × 416 像素子部分生成了 20,000 个训练实例，每个实例都由完全包含在其中的框的参数列表进行标记。通过随机调整晕影色调、饱和度和亮度以及随机翻转图像标签对，进一步增强了该数据集。然后使用 yolov4-tiny 架构和默认超参数来训练模型 [ 6 ]。每 500 次迭代存储一次模型权重，总共 65,000 次迭代。保存验证数据集上导致最高平均精度 (AP) 的权重。

为了进行预测，2048 × 2448 px 源图像被分割成在整个像素范围内裁剪的图像子部分，最大间距为 270 px，然后将其馈送到检测模型，从而产生一组框的预测参数尺寸 (、和中心坐标 (、。由于子图像重叠，同一浆果可以被多次检测到。为了消除这些冗余，使用非极大值抑制来避免框对的并集交集超过 70%。检测到置信度分数低于阈值浆果将被过滤掉。

延时追踪单个浆果
此步骤的目的是在葡萄串的连续分段图像上跟踪单个浆果，即随着时间的推移将独特的标签与每个浆果相关联（图 3 A、E）。为此，结合了三种独立的方法（即基线、配准和匹配树）。首先，使用原始算法（匹配树）来找到最佳起点 来初始化标签，并以最佳方式重新排序这些标签传播到其他时间步的方式（图.3D  ）。该算法基于距离矩阵的构造，该距离矩阵量化所有可能的时间步长对之间的差异

对于任意时间点，分割提供了一个点集其中包含椭圆中心点坐标检测到的每个浆果的假设所有浆果都以近似恒定的相对位置保留在图像帧中，则从时间步到的浆果跟踪被视为点集和。

方法评价
为了评估给定图像上的浆果检测，与标记椭圆的交交 (IoU) 大于 0.5 的预测椭圆被分类为真阳性 (TP)，表明识别正确。低于此 IoU 阈值的预测椭圆是假阳性 (FP)，表示错误识别，而没有高于此阈值的相应预测椭圆的标记椭圆是假阴性 (FN)，表示漏检。

对于分割评估，使用以下指标将分割椭圆的面积与地面实况观测值进行比较：偏差、均方根误差（RMSE）、平均绝对百分比误差（MAPE）和决定系数（R 2）。

Berry 跟踪通过两个指标进行评估，即覆盖率和精度。定义为在整个时间序列上，跟踪算法可以将分段浆果与在（图 3 E 中的彩色椭圆）。是随时间推移指向同一浆果的标签的百分比，是通过手动检查每个时间序列中每串 10 个时间步长的随机样本来估计的。

对 2020 年的一组实验进行了进一步分析，以评估该方法在捕获和量化浆果发育及其异步性方面的潜力（演示数据集）。通过对来自同一葡萄串的 3 个不同相机视图（120° 差异）的 3 个时间序列的 138 张图像应用完整图像分析流程，测量了 81 个浆果。PhenoArch 平台能够在拍摄图像时旋转植物盆，从而促进了不同视图的图像时间序列的使用。（详细信息请参见[ 7 ]）。我们进一步选择了在至少 90% 的实验持续时间内进行跟踪的浆果。对于每个浆果，使用 8 天移动中位数来平滑原始体积测量值随时间的变化（图 7 A 和附加文件2）A; 红色曲线），并在原始体积数据和平滑体积数据之间计算 MAPE 值。为了减少噪音，MAPE 最高的 10% 浆果被排除在分析之外，从而得到包含 73 种浆果的最终数据集。

结果
深度学习分割可以对部分隐藏的浆果进行准确而稳健的形状推断
对 2020 年和 2021 年数据集（21,744 张图像）进行浆果分割，每张图像平均检测到 64 个浆果。图 4提供了测试子集上的一些检测示例，表明该模型能够推断出大小、形状和方面各异的不同基因型的重叠浆果的完整轮廓，即使这些轮廓不完全可见。对完整测试子集的预测与真实注释进行比较，以量化检测和分割的准确性。

图4
图4
分割葡萄串图像的示例。来自 12 个葡萄基因型的串图像的浆果检测和分割流程的输出。图像来自测试子集，这些基因型均未用于训练模型。仅显示每个图像的 500 × 500 像素子部分

全尺寸图像
在测试子集上，可测量浆果的检测精度为 92.3%，召回率为 87.5%，F1 得分为 89.8%。通过手动分类（附加文件3）进一步研究了剩余错误（64 个 FP、109 个 FN）（例如图 5 ）A）。这表明大多数错误（59% 的 FP 和 52% 的 FN）要么对应于可见轮廓分数在 50 ± 10% 范围内的浆果，要么对应于小的未发育浆果（大约豌豆大小阶段）。这两种情况都接近注释浆果时使用的选择标准，并且对于注释者和模型而言，是否跨越这些标准的评估可能是不明确的。对于 FP（即检测到但未注释的浆果），错误均匀分布在浆果大小之间（附加文件3B）。其中 56% 对应于 50 ± 10% 可见轮廓范围内的浆果，有时是由于注释者事后检测到的错误。考虑到 10% 误差范围内的浆果仍然是形成推理的良好候选者，因此该方法检测可测量（即使未注释）浆果的精度可以重新估计为 96.0%（F1 分数 = 91.8%）。关于 FN（即漏检），仅豌豆大小的浆果就占了 27% 的病例，这导致此类浆果在检测到的浆果大小直方图中的代表性略有不足。（附加文件3 B）。

图5
图5
浆果检测和注释之间不匹配的示例。在测试子集中的葡萄串图像上将管道检测到的浆果与手动注释的浆果进行比较时发现误报（FP，红色）和漏报（FN，绿色）。仅显示完整图像的一部分

全尺寸图像
模型分割的椭圆面积与测试子集上的手动注释的面积非常匹配（图 6；MAPE = 4.1%，R 2  = 0.976），偏差较低，为 − 32 px 2。这表明分割模型能够准确推断浆果的大小，并隐藏多达 50% 的轮廓。在训练子集中存在 (n = 440) 或不存在 (n = 363) 的基因型上获得了大约 4% 的类似 MAPE，这表明分割很好地推广到了我们数据集中的遗传多样性。

图6
图6
浆果面积测量的准确性。手动注释的浆果面积（观察）与检测和分割管道（预测）的面积进行比较。n点数、RMSE均方根误差、MAPE平均绝对百分比误差

全尺寸图像
对 50% 至 80% 的分段浆果进行几乎无差错的跟踪
在 2020 年和 2021 年的实验中，对来自不同植物的 9 个葡萄串进行了浆果跟踪，分别在平均 65 和 136 个时间步长上进行观察，图像之间的中值间隔相同为 8 小时。附加文件1中的视频显示了三个不同组的跟踪输出示例。据观察，图像时间序列表现出相机和植物的相对位置保持稳定的时期，导致图像中束的固定位置，但也包括植物和相机的不规则运动，尽管图像采集的自动化，结合束和叶子的不规则运动。

对 18 个串中的每串浆果跟踪方法的 覆盖率进行了评估（M4，表2）。方法组件（注册、匹配树）的单独效果通过在没有它们的情况下重新运行跟踪来评估（M1 到 M3，表 2）。还使用两个子采样场景来评估将时间步长从 8 小时增加到 80 小时（S1，表 2）以及将时间序列限制在稳定拍摄条件期间（S2，表 2）的效果。这些时期是通过仔细检查图像采集随时间的稳定性而手动识别的。

表2两个实验的跟踪方法(M4)的覆盖指数(
全尺寸桌子
 2020 年和 2021 年实验的平均值分别为 53.4% 和 74.2%。 =99.2%，793 个标签）实验的精度都非常高。这表明跟踪方法比详尽的更准确，适合研究浆果生长动力学，因为对浆果代表性子样本的准确监测足以反映整个串的动态。为距离阈值选择较低的值可以确保如此高的精度，该距离阈值确定两个分段的浆果是否可以匹配。使用点集配准（图 3 B）和匹配树（图 3
D) 在跟踪期间都有助于保持足够高的覆盖率，因为与常规的点集匹配序列相比，2020 年和 2021 年的实验分别将增加了 10.4 倍和 1.8 倍（表 2；M2-4 与 M1）。

然而，大量的分段浆果（2020 年：46.6%，2021 年：24.8%）仍然无法与相匹配。图像之间的时间间隔不太可能解释这些损失，因为图像频率的十倍降低并没有在相同的持续时间内  （表2；S1）。相反，进一步检查在跟踪期间计算的距离矩阵，突出显示具有强时间一致性的时间段（即椭圆中心点集之间的距离较小），由突然的过渡分隔，这些过渡通常与 \({T}_{（附加文件4
）。使用这些矩阵对 30 个转变进行了经验注释，以识别其相应图像上的原因（附加文件4 A；红线）。大多数转变与果串旋转（70%）、相机位置的强烈移动导致浆果出现或消失（13%）或果串内变形（10%）同时发生。这些情况与我们注册方法的实际局限性相对应，但大多数情况可以通过更好地管理实验条件来避免。在每个时间一致周期内独立执行跟踪， 提高到 77.1% 和 82.0%（表 2
; S2）。这些指标可能反映了我们的方法在实验条件下的性能，其中图像采集的不稳定性得到了更好的管理。

与通常的“平均浆果”方法不同，对单个浆果动态的稳健测量
将跟踪标签与从分段浆果中提取的特征相结合，可以在体积和颜色方面以高精度和时间分辨率监测单个浆果随时间的生长情况（图 7  ）。虽然体积测量可能会由于图像中几个像素的变化而产生更多噪音，但颜色测量更可靠，因为它们是通过对大量像素进行平均而得出的。这些动力学随着时间的推移表现出平滑的模式，使用对多个串中的大量浆果进行高频测量（附加文件2），这支持了该方法对高通量表型条件的适用性。

图7
图7
单个葡萄浆果的生长和着色动力学。随着时间的推移，在演示数据集的单个浆果上测量体积 ( A ) 和中心色调 ( B )。所有点都使用相应的平均色调值进行着色。在A中，红色曲线对应于 8 天移动中值平滑。在B中，灰色区域对应于浆果分割掩模内观察到的中心色调值的标准偏差

全尺寸图像
该方法揭示浆果成熟和葡萄串种群结构新特征的潜力，通过 2020 年实验中追踪的 73 个浆果进行了进一步评估，这些浆果的实验对象为 Vitis vinifera cv Alexandrouli（一种源自格鲁吉亚的黑色雌雄同体品种，用于酿酒） （https://www.vivc.de/?r=passport%2Fview&id=263）。该串的观察期为 50 天，对应浆果的第二个生长期，即从绿色阶段结束到过熟（图 8、9） 。）。据我们所知，这是第一份关于统计相关数量的单个水果的生长和着色动态的报告。我们在此确认，在相似的发育阶段，单个浆果体积表现出 2-3 倍的变化，与单串内的高斯分布有相当大的偏差（图 8 A）。平均而言，在这串浆果中，单个浆果的体积 在达到最大体积（图8 C；灰色虚线）之前的 18 天内 增加了 60%（图8 A） ，并且一旦经历了或多或少强烈的萎缩期浆果中的韧皮部卸载完全停止了[ 41 ]。这种相对膨胀率与大多数浆果成熟过程中浆果体积大约翻倍的情况一致。V. vinifera品种 [ 4 , 5 , 22 ]，花了三周的时间在 Meunier、Syrah、Zinfandel 或 ML1 [ 42 ]、Cabernet Sauvignon 和 Pinot [ 15 ] 的单个果实上完成。需要进一步的研究来确定亚历山德鲁利浆果的生长持续时间稍短和扩张是否确实是遗传起源，或者是在温室条件下对相当年轻的自生根盆栽植物进行测试的结果。无论如何，我们在这里确认，直接测量时，单个浆果的成熟持续时间比教科书中报告的一致成熟持续时间至少短30-50 % [ 12,26,45 ]]。对我们来说，之所以会出现这种差异，是因为在检查其时间演变之前，通常会通过计算代表地块规模的水果多样性的数百个异步浆果的平均重量和成分来推断成熟持续时间。事实上，目前的数据甚至表明，对于单个浆果来说，这无疑低估了地块尺度的异步性，为所有检测到的浆果重新计算的全局生长曲线明显高估了第二个生长期的平均持续时间（图 8C；红星）并低估了最大增长率（图 8D; 红星）。这些统计偏差显然是由于将异步性添加到平均代表性样本中真实但之前未知的第二个生长期的持续时间中造成的。此外，事实上，异步性和生长持续时间在单个串中持续的时间大约相同（图 8 B、C y 轴的范围相似），这意味着传统的随机样本结合了非常不同物候阶段的浆果，这是一个主要因素。解决果实发育生物学的缺点。实时监测浆果生长可以构成同步浆果样本，并且比标记每个浆果受精或软化日期更方便。在这方面，有人提出将着色作为诱导成熟的指标[ 48]。我们的数据表明，生长恢复是成熟开始的一个更相关的指标，因为它平均比着色早四天以上，并且延迟时间可能从一天到两周不等（图9  ）。因此，这种可变性显然限制了在构建有效采样策略时单独使用着色。最后，提供的原始数据使我们能够检验假设，并初步了解浆果群体动态结构的驱动因素。首先，我们的数据并不表明晚期浆果成熟程序的加速[ 19 ]伴随着浆果生长速率的加速，因为浆果相对膨胀和生长恢复时间之间没有发现相关性（图 8 ） B;R 2 = 0.02）。我们的观察结果并不支持成熟浆果竞争水或光同化物的观点，因为它们的相对生长速度并不随同时生长的浆果数量而变化。然而，各个浆果的最大相对膨胀差异很大，这显然与它们的最大生长速率有关（图 8D；R 2  = 0.59），而不是与生长持续时间相关（图 8C；R 2  = 0.002）。基于单个浆果动力学离散化的浆果种群动态结构的第一种方法显然构成了将未来作物建模为平均理想水果的范式转变[ 54 ]。

图8
图8
葡萄串内浆果的个体生长动力学和成熟统计数据。平滑相对体积 ( ) 作为演示数据集的 n = 73 个浆果（灰线）和每日平均“平均浆果”（红色虚线）的时间函数）。插图：单个浆果的 ) 和最大体积 (B、C和D分别显示生长恢复时间、成熟持续时间和成熟相对速度，作为最大相对体积 ( - )/
。灰色水平虚线表示所考虑统计数据的平均值。红星表示每日平均“平均浆果”的值。在D中，蓝色虚线对应于 x 和 y 轴之间的线性回归

全尺寸图像
图9
图9
葡萄串内浆果的个体着色动力学。自动计算演示数据集中 n = 73 个浆果的中心色调 (每个测量的浆果（灰线）的缩放着色动力学（），使用其初始（）和最终（ ) 居中色调。B恢复生长时间t( =0.15)与显色开始时间t( =0.15)之间的关系。灰色线是x=y对角线，蓝色虚线表示生长恢复时间和着色开始时间之间的线性回归

全尺寸图像
讨论
一种量化异步生长浆果队列中成熟动力学变异性的方法
自动跟踪葡萄串中单个浆果的异步成熟使我们能够重新审视成熟浆果的基本生长速率，并首次提出对统计上显着数量的观察结果进行其生长和颜色动力学分析，具有前所未有的时间分辨率（不到一天）。与其他品种的初步报告一致 [ 5 , 42 ]，我们发现单个浆果的成熟持续时间不超过三周，这与 36 个国际品种的小组报告的 32 至 56 天的糖负荷持续时间不同，随时间随机抽样并平均 50 个浆果 [ 45]。这证实，通过忽略浆果异步作为混杂变量，与单个水果动力学相比，每日平均“平均浆果”的成熟持续时间可能被高估多达两倍。这样的差距可能会对光照、温度和降雨量的年度变化对生长和糖负荷强度的影响进行去卷积产生重大影响。应该指出的是，这里记录的群内变异性远远超过了过去半个世纪观察到的物候和成分漂移，这是气候变化的后果[ 3]。因此，影响人口年龄金字塔的微小物候变化以前可能被误解为成熟过程固有的动力学或代谢变化。希望这里提出的方法将有助于未来的研究，以更好地记录 GxE 相互作用的哪一部分是由群体的时间结构介导的，以及与浆果成熟过程中的代谢变化相关的根本不同的部分。

推断图像上部分隐藏水果形状的通用方法
虽然已经开发出许多计算机视觉方法来使用深度学习来识别和测量水果[ 16、17、18、23、34、38、43 ]]，它们主要旨在推断其遮挡边界（即可见边缘），在重叠水果的情况下，该遮挡边界与感兴趣对象的真实轮廓不同，从而无法获取其实际大小。相反，我们的分割方法旨在直接在深度学习过程中推断重叠水果形状的不可见部分。我们引入的原始快速注释策略允许在训练过程中隐式约束模型以生成椭圆掩模，而无需传递图像边缘的长注释，或者在模型架构中明确此约束，如 Ellipse R-美国有线电视新闻网 [ 10]。该策略的对应策略是将推理限制在足够可见的浆果上，我们通过训练模型来仅检测具有超过 50% 可见轮廓的浆果来做到这一点。使用这样的二元标准可能会导致注释和预测期间出现歧义，但我们的结果表明它不会降低生物输出。尽管如此，在检测步骤中包含此过滤器并不能检测所有可见的浆果，这将是计数的限制。另一种方法是首先使用更详尽的水果检测器，并将过滤可测量浆果的任务委托给分类器。这将允许经典的计数策略（例如[ 51]）与我们的生理测量结果结合在一个管道中。尽管这项研究主要针对葡萄藤，但我们认为我们的方法可以应用于任何其他可以近似为椭圆形的水果。

浆果跟踪的性能取决于图像采集设置的稳定性
这项工作是在来自高通量表型平台的图像上进行的，其中受控条件和标准化图像采集促进了单个浆果的时间跟踪。虽然我们调整了跟踪算法以更好地容忍群体和相机的轻微移动，但我们的结果仍然表明，通过稳定图像采集，跟踪性能可以提高近 50%。特别地，通过避免束和相机的非线性相对运动（例如旋转）、防止束内部的变形以及将整个束保持在相机的视野内，可以极大地提高跟踪性能。虽然未来更先进的图像分析方法可能会解决这些问题，但我们认为在图像采集过程中避免此类情况更有效。仍然， 3C）。这可以通过对由不连续性描绘的所有时期重新运行自动跟踪，然后在每个不连续性处手动映射浆果标签，以半自动方式提高跟踪性能。最后，选择正确的图像采集时序对于后续分析至关重要。事实上，量化浆果颜色变化等快速动态需要足够高的图像捕获频率，而成熟动态的标准化需要包括观察期间的初始和最终平台。

该方法是否可以在室内表型平台的受控条件之外进行调整？
虽然我们的方法仅在 PhenoArch 平台内的受控条件下进行了评估，但它可能可以适应其他环境，例如现场条件，只需进行一些调整。

对于浆果检测和分割，对于浆果外观与训练数据集中的浆果外观不同的图像，所使用的模型的性能可能会降低。例如，对现场图像（附加文件5）的初步测试表明，很少检测到阳光照射的浆果，而阴凉处的浆果表现更好，其外观类似于在平台上观察到的浆果。这种性能下降可以通过重新训练模型来纠正，这将通过我们允许重复使用的开源实现以及我们快速而强大的注释策略（每小时大约 100-150 个浆果）来促进。依赖注释可见边缘的传统方法。

对于浆果跟踪，我们在上一节中展示了图像采集设置的稳定性对于良好的性能至关重要。在温室的受控条件之外（例如在有风的条件下），这可能更难实现，并且可能需要针对所使用的实验设置进行调整。

最后，需要在图像中检测到足够的浆果，以正确量化其成熟的异质性。这可能是接近真实条件的实验条件的限制，例如更紧凑的串和叶子隐藏浆果。特别是因为在我们的平台中旋转植物以捕获更多浆果更加复杂。因此，应仔细考虑图像采集，以便优先考虑最大的花束，去除遮挡花束的任何叶子，或使用同一图像捕获多个花束。

结论
我们引入了一种全自动开源方法，用于在实验室条件下检测、分割和跟踪葡萄串图像时间序列中的重叠浆果。这种非破坏性方法可以直接了解一堆中单个浆果的生长和颜色动力学。与高频图像捕获相结合，这使得量化单个水果发育的未记录方面成为可能，并在种群水平上表征它们的异步性。在未来的实验中实时使用这种方法可以设计新的采样策略，将这群浆果视为一群不同步的浆果，而不是理想的平均浆果，并导致完全重新审视成熟动态。尤其，GxE 效应不仅可以更清楚地归因于成熟过程中的生理变化，还可以归因于整个浆果种群年龄结构的变化。我们的方法的完全自动化也与高通量表型分析完全兼容，为研究大型植物组的生理学和浆果成熟异步性方面的详细 GxE 相互作用提供了机会。