生态瞬时评估（EMA），也称为经验采样或流动评估，是一种研究设计方法，收集参与者在自然环境中的行为、情绪和经历的实时数据（Shiffman 等，2008）和对参与者日常生活干扰最小的方式（Burke et al., 2017）。在 20 世纪 80 年代刚开始时，参与者只要听到研究团队的“嘟嘟声”，就会携带传呼机并完成纸质调查（Csikszentmihalyi & Larson，1987）。近年来的技术进步意味着 EMA 研究可以在参与者的个人智能手机上轻松进行，且费用很少。不出所料，EMA 越来越受欢迎，2021 年使用这些方法发表的科学文章的比例比 2008 年增加了 6 倍多，当时希夫曼和同事发表了关于 EMA 的总结性年度评论。

与实验室实验方法甚至长期日记和纵向研究相比，全天数据收集的短期窗口会导致许多评估的缺失，从而威胁到 EMA 研究得出的推论的有效性（Sun 等人， 2020）。了解EMA 协议的遵守情况引起了相当大的研究兴趣，并对研究和参与者特征进行了至少四项荟萃分析（Jones 等人，2019 年；Ottenstein & Werner，2022 年；Williams 等人，2021 年；Wrzus & Neubauer，2022 年））。然而，研究间比较显示，不同研究之间的依从性与设计因素（例如提示频率、研究长度）的关系没有一致的差异。在招募阶段可能会过滤掉导致依从性差异的潜在因素，这表明需要对依从性差异进行研究内测试。在目前的探索性和描述性研究中，我们利用从本科生饮酒者连续 14 个周末（周四至周日）收集的数据来评估随时间推移遵守率较好和较差的参与者之间的差异，并评估不同类型饮酒的潜在影响。对持续参与的激励。

研究之间在依从性方面的相似之处
荟萃分析显示，平均而言，EMA 研究的参与者对他们在研究参与过程中收到的提示做出了 75% 至 82% 的回应（Jones 等人，2019 年；Ottenstein & Werner，2022 年；Williams 等人， 2021；Wrzus 和 Neubauer，2022）。每天提示次数较少且调查时间较短的研究通常并不比每天提示次数较多且调查时间较长的研究具有更好的依从率，这与实验证据一致（Eisele 等人，2022 年；Hasselhorn 等人，2022 年））。其他对依从性没有影响的设计因素包括设备类型（例如，个人智能手机与研究借用设备）、提示是在一天中的固定时间还是随机时间以及研究是否包括事件相关响应。付费样本的合规性略高于未付费样本，但不同的付款策略（例如完成更多调查的奖金）与更好的合规率无关。性别、年龄以及临床与社区样本参与者来源也与依从性无关。

对于设计 EMA 研究的研究人员来说，很容易得出这样的结论：无论研究中的设计因素如何，都可以实现高合规率。然而，通过荟萃分析审查的研究的合规率范围低至 9.8% 至 100%。Wrzus 和 Neubauer (2022)审查的近一半研究报告的合规率低于 80%（EMA 研究的启发式基准最低值（Jones 等人，2019 年）） 。他们的研究得出的结论是，自我选择是缺乏观察到的研究间差异的关键原因。有些人可能不遵守研究方案的原因可能会阻止他们首先同意参与。研究内测试需要差异来确定在单个样本中是否存在可能影响依从率的参与者或研究设计的任何特征（例如，长度、调查类型、激励结构）。

随着时间的推移，表明合规性和人员流失率差异的潜在来源的线索很少。一项 EMA 研究深入探讨了这个问题，为学生参与者配备被动音频监听设备，并根据要求 EMA 调查回复的时间对他们的行为和背景进行编码（Sun 等人，2020）。仅仅作为一个在研究过程中完成了很多调查而不是很少调查的参与者，几乎所有完成的报告都可以被正确地分类为完整的。然而，只有 21% 的失踪者报告被正确分类为缺失。添加根据听力数据编码的个性、社交和情感变量并不能提高对丢失报告的正确分类。同样，最近一项针对年轻人的研究仅发现微弱的证据表明攻击性、犯罪和酗酒等特征和行为与较差的依从性相关，而人口统计指标与依从性无关（Murray 等人，2022）。根据这些观察结果，我们探索性研究的首要目标是描述和测试根据总体研究参与水平分类为或多或少依从性的参与者群体中人口特征、性格和心理健康的可用衡量指标的差异。

较长持续时间研究的合规性
EMA 依从性荟萃分析的一个令人惊讶的零发现是，持续时间较长的研究并不总是比短期研究的依从性更差。两项荟萃分析将研究持续时间分类为 <1 周、1 至 2 周和 2 周或更长，并且发现依从率没有平均差异（Jones 等人，2019 年；Williams 等人，2021 年）。一项荟萃分析发现，依从率与研究总天数之间存在微小的负相关（Ottenstein & Werner，2022）。最大的荟萃分析仅包括七项研究（数百项中）报告总研究长度超过 30 天，并且依从率与研究长度无关（Wrzus & Neubauer，2022）。这些结果很难与纵向调查研究中普遍承认的磨损和数据缺失问题相一致，并强调了研究间方法在理解 EMA 合规性方面的局限性。在对持续 4 至 6 天的 10 项 EMA 研究进行的综合数据分析中，78% 的总体依从性接近每项荟萃分析中报告的平均率，但依从性从第一天的 83% 高位下降到 73%第五天（Rintala et al., 2019）。总体比率掩盖了流失模式，并且没有提供任何见解来表明谁退出、何时退出、为何退出，以及我们如何最好地鼓励保留，特别是对于持续数周或数月的 EMA 研究。

本研究的持续时间较长的设计为探索合规趋势提供了独特的机会。我们在 14 个周末的 56 天里发布了调查。每个周末进行 13 次调查，参与者有机会贡献多达 182 条回复。然而，研究时间越长，自然减员的机会就越多。在一项针对参与交换课程学分的学生的为期 7 天的 EMA 研究中，第一天的遵守率超过 80%，到第四天下降到 65% 左右（Silvia 等，2013）。一年级本科生的付费样本的依从性甚至更差，70% 的学生在 7 天的协议过程中错过了 3 天或更多天的调查（Bedard 等人，2017 年））。如荟萃分析所示，使用不同设计的研究之间的依从性没有可靠的差异，但这些测试并不排除研究内依从性趋势的差异作为设计特征的函数。对趋势的分析可以确定合规性是否随着时间的推移以相同或不同的速度下降，从而帮助识别随着时间的推移表现出最慢下降速度的人员和设计特征。我们的研究包括每天发布 4 次、响应窗口可变（2 小时和 4 小时）的调查，以及一项以重复性认知任务为特色的调查。因此，我们探索性研究的第二个目标是描述和模拟每周依从性、周内依从性的变化率，以及每个周末跨受访者类别和调查类型的提醒需求。

财政奖励
在研究间荟萃分析中预测更高依从性的唯一标准是激励的使用。提供货币激励的研究平均合规率为 82.2%，显着高于提供非货币激励（77.5%）或不提供激励（76.2%；Wrzus & Neubauer，2022）的研究。然而，仍然存在相当大的变异性，在 Wrzus 和 Neubauer 的荟萃分析中，有一半的研究在没有激励的情况下达到了 80% 以上的合规率，尽管这些研究没有一项超过 28 天，而且大多数持续时间为 1 周或更短。在一项追踪期长达 35 至 62 天的三样本研究中，当学生参与者仅获得课程学分时（32.8%），遵守率较低；而当他们收到金钱（76.7%）或奖品（71.4%）时，遵守率较高（71.4%；Harari）等，2017）。与补偿样本相比，仅信贷样本的合规率下降得更快。本研究的参与者每完成一次调查均获得 1 美元的补偿，付款以礼品卡形式每周发放。然而，我们的设计还包括两种额外的补偿形式，使我们能够测试激励措施对合规性的潜在影响：第一种是使用“惊喜”奖金：在参与大约 5 周和 10 周后，参与者收到了未经通知的 5 美元礼品卡感谢他们对我们研究的持续承诺。第二个是每日抽奖的使用：周五、周六和周日，我们从前一天参加的学生中随机选出一名 25 美元的礼品卡获奖者。利用这些补充形式的补偿，
目前的研究

我们使用对本科饮酒者进行的为期 14 周的生态瞬时评估研究中提取的数据来实现三个目标：首先，我们根据参与者的总体研究依从率将其分组，并在人口统计学、个性、心理健康和物质方面对他们进行比较使用措施。其次，我们可视化随时间推移的合规性趋势，并对每周合规性、周内合规性的变化率以及跨受访者类别和调查类型的提醒需求进行建模。第三，我们测试参与者收到意外奖金和奖品前后几周的合规率是否有所不同。我们的设计是探索性的，本研究的任何部分都没有预先注册。样本量仅限于我们现有数据中可用的数量。研究中的所有数据决策和措施报告如下。https://osf.io/d4ea8）。

方法
参加者及程序
参加者有n= 2021年秋季在加拿大大学就读的196名本科生，于2021年8月23日至9月17日期间在线和面授招生（此时面授课程尚未完全恢复）。在招聘期间，我们每 2 至 3 天举办 10 次 Instagram“赠品”，其中价值 100 美元的礼品卡。在赠品帖子之间，我们分发了招聘通知，其中一些是促销帖子（广告），针对年龄在 18 至 25 岁、位于我们大学 50 公里范围内的 Instagram 用户，这些用户将大学列为他们在 Instagram 上标记的兴趣之一。我们还在 Reddit、Facebook 和 Twitter 上发布了研究信息；将纸质明信片放置在校园周围人流较多的区域（例如，迎宾台、学生宿舍附近的长凳上、教室的座位上）；并参加了学生俱乐部和活动团体的虚拟迎新周活动。
有兴趣的学生被指导完成一项资格调查。资格标准包括 (a) 是我们大学的本科生，(b) 年龄不超过 25 岁，以及 (c) 计划在秋季学期每月至少饮酒两次。感谢完成我们筛选调查的不符合资格的学生抽出时间。符合条件的学生被邀请提供姓名和大学分配的电子邮件地址。此阶段包含了一个reCAPTCHA调查问题，以限制我们筛选调查中的“机器人”活动，并删除了提供非大学电子邮件地址的受访者。在我们筛选调查的 1,021 份回复中，n = 342 人有资格参与并收到完成入学调查的邀请和个性化链接。这些，n = 301 名参与者提供了知情同意书并发起了一项摄入调查。我们在摄入时排除了 31 名受访者，因为他们随后报告每月饮酒或计划饮酒少于 2 次，另外 4 名受访者因人口统计信息不完整而被排除。
发起参与调查的参与者收到了价值 10 美元的Amazon.ca礼品代码（以下简称“亚马逊现金”）。我们使用开放式问题和总完成时间仔细检查了数据质量问题的接收响应。标准是学生对开放式问题做出合理回答，完整完成调查并花费至少 5 分钟时间，并表示有兴趣参与后续 EMA 研究。我们邀请n = 239 名学生完成 EMA 研究阶段的二次同意书并提供手机号码以接收调查提示（n = 204）进行注册。在 5 周的时间内，我们注册了n =196 名学生（补充 1，表 S1 显示了详细的每周参与者入学人数、依从性和辍学人数）。

EMA 研究阶段包括每周 13 次调查，持续 14 周。参与者每天在同一时间收到短信提醒，并有 2 到 4 小时的时间完成每项调查。第一个警报在早上到达（周四至周日；上午 10:00 警报；下午 2:00 之前有效），下一个警报在中午到达（周四至周六；下午 4:00 警报；下午 6:00 之前有效） ，然后是傍晚（周四至周六；晚上 7:00 提醒；晚上 9:00 之前可用）和傍晚调查（周四至周六；晚上 11:00 提醒；第二天凌晨 3:00 为止）。如果参与者计划在晚上 11:00 发起的深夜调查之前入睡，我们还为参与者提供了每天晚上完成“睡眠”调查的选项。在我们的夜间睡眠调查中输入研究 ID 号的参与者被视为对深夜调查做出了回应。根据所选的分支选项，上午调查最多包含 45 个问题，晚上调查则包含 13 个问题。中午的调查包括一项简短的九项调查和一项停止信号任务，其中有五次试验，平均完成时间为 4.25 分钟。
学生完成每项调查后都会获得 1 美元的亚马逊现金补偿，付款每周二发送。为了提高保留率并促进学生参与，我们每天进行抽奖，从周五到周日，每天向一名获奖者奖励 25 美元的亚马逊现金。在前一天（即周四至周六）至少完成一项调查的参与者将参加抽奖。第 5 周和第 10 周后，我们还向仍然参加该研究的学生发放了两份未宣布的 5 美元奖金。

措施
人口特征
在我们的入学调查中，学生提供了他们的年龄、性别认同、种族/民族背景、父母的教育和收入、过去一年吸食大麻和酗酒的频率以及粮食不安全指标（详细信息可在我们的数据字典中找到） OSF 项目页面；https://osf.io/d4ea8）。

性格、心理健康和药物使用
我们在 OSF 项目页面上提供了详细的人格、心理健康和药物使用测量数据字典。简而言之，我们计算了抑郁症（流行病学研究中心——抑郁症；CES-D；Andresen 等人，1994 年）、焦虑症（广泛性焦虑症；GAD；Spitzer 等人，2006 年）和生活满意度（对生活的满意度）的平均得分。生命量表；Diener 等，1985）。子量表分数是针对个性（即外向性、宜人性、尽责性、消极情绪和开放性；BFI-2-S；Soto & John，2017）和冲动性测量（即消极紧迫性、毅力、预谋、感觉寻求）创建的，以及积极的紧迫感；Whiteside & Lynam，2001）。参与者还报告了他们过去一年使用酒精和大麻的频率。

每周总体合规性
对于每个人，我们将他们在给定一周内完成的调查数量（即 0-13）相加，除以可能的调查数量（即 13），然后乘以 100，得出每周合规率。每周，我们都会将所有参与者的每周合规率相加，然后除以该周注册的参与者数量。分母随着每周滚动入学和辍学而变化。

按调查类型划分的每周合规性
我们在早上、中午、清晨和深夜的调查中分别计算了每个人的合规率。参与者每周最多可以完成四次早晨调查和三项中午、清晨和深夜调查。对于每个人，我们将给定调查类型（即 0 到 3 或 4）的当周完成的调查数量相加，除以可能的调查数量（3 或 4），然后乘以 100 得出调查-具体达标率。对于每周的每项调查，我们将所有参与者的相应调查特定合规率相加，然后除以每周登记的参与者数量。与总体依从性一样，分母随着每周滚动入学和辍学而变化。

提醒事项
我们为每项调查发送最多两条短信提醒，以鼓励完成，每种调查类型每天在同一时间发送，并且仅发送给尚未完成调查的参与者。对于给定的调查，在发送第一次或第二次提醒后开始调查的任何人在完成调查之前都会被记录为分别需要一次或两次提醒。我们每周计算平均提醒数量（总体提醒数量和调查提醒数量），以检查提醒需求随时间的变化趋势。

响应者类别
由于我们有兴趣使用合规率来预测合规趋势（有效地“重复计算”我们的结果变量），我们设计了一种对参与者在研究期间总体合规水平的分类衡量标准。切入点是根据启发式基准来选择的，可接受的合规水平与每个类别中具有可比较人数的需求相平衡。如果参与者对我们的调查的回答率超过 90%，我们就将他们指定为超级响应者；如果他们对 75% 到 89% 的调查做出回应，那就太好了；如果他们对我们的调查的 50% 到 74% 做出了回应，那么就足够了；如果他们对我们调查的回应率低于 50%，则为差。

惊喜奖金
在研究过程中，我们两次意外地（未宣布）发放了 5 美元礼品卡奖金。这些没有在同意书中提及，也没有提前向参与者披露。惊喜奖金在第 5 周和第 10 周（对于在第 1 周到第 3 周开始研究的参与者）或第 6 周和第 11 周（对于在第 4 周和第 5 周开始研究的参与者）发放。我们记录了每位参与者在每次奖金之前和之后几周的每周合规情况。
每日抽奖
在指定周四、周五或周六至少完成一项调查的参与者将在第二天参加每日抽奖活动，赢取 25 美元的礼品卡。在研究过程中，我们向 38 人分发了 42 张礼品卡（有 4 人多次赢得礼品卡）。对于每位抽奖获胜者，我们记录了他们获胜前一周、获胜当周以及获胜后一周的合规率。
分析策略
本研究的描述性和推理性分析是使用 R 软件（R Core Team，2021）和包dplyr（Wickham 等人，2022）、lme4（Bates 等人，2015）、lmerTest（Kuznetsova 等人，2017）进行的。 、emmeans（Lenth，2022）和jmv（Selker 等人，2021）。可视化是使用ggplot2创建的（Wickham，2016）。我们进行了卡方检验和单向方差分析 (ANOVA)，以检查响应者类型（超级、良好、足够、差）之间在分类和连续人口统计、个性和心理健康指标方面的人口统计差异。我们使用混合效应回归模型来估计跨周（1 至 14）、调查类型（早上、中午、清晨和深夜）以及响应者类型的合规率随时间的趋势，从而允许每种措施之间的相互作用。我们探讨了与简单斜率和对比度的显着相互作用。我们进行了 2（内）× 4（间）随机效应方差分析，以测试按调查类型划分的每周奖金补偿前后合规性的平均差异。

结果
合规摘要
EMA 研究的最终样本量为n = 196。这在招募周（1-5）内有所不同，参与者同时注册和退出。在 14 周内，我们进行了 30,940 项调查，完成了 23,661 项调查，总体合规率为 76.5%。根据每个参与者的开始日期和可用的调查数量（第 1 周：182 到第 5 周：130），我们将n = 29 归类为差，n = 49 归类为足够，n = 62 归类为好，n = 56 归类为超级受访者。

人口特征
参与者被确定为女性（65.8%；n = 129）、男性（29.6%；n = 58）或既非男性也非女性（4.6%；n = 9）。此外，15 名参与者 (7.7%) 进一步被认定为非二元性别、跨性别者、性别酷儿或无性别者。样本具有种族多样性：6% 为黑人 ( n = 12)，2.5% 为原住民 ( n = 5)，1.5% 为拉丁裔 ( n = 3)，9.7% 为多种族 ( n = 19)，9.7%南亚人 ( n = 19)，7.1% 为东南亚人 ( n = 14)，2.5% 为西亚人 ( n = 5)，0.5% 选择了所列身份以外的身份 ( n= 1)，60.2% 被确定为白人 ( n = 118)。父母平均总收入为 6.83，即估计每年 120,750 美元，2略低于安大略省双亲家庭收入中位数（经通货膨胀调整；Munger 等人，2016 年）。
参与者的平均年龄为 20.61（SD = 1.50；范围 = 17-25）岁。如果n = 22 名参与者 (11.2%)报告他们担心或实际上耗尽了食物并且无法吃均衡膳食，我们将他们归类为食物不安全。表 1显示了每个响应者组的详细人口统计信息。人口统计特征的测试均未显示响应者类型之间存在显着差异。

性格、心理健康和药物使用
表2显示总样本和受访者类别的平均性格、心理健康和药物使用得分。抑郁（1.12）和焦虑（1.34）得分表明，平均而言，参与者在过去两周内“不到 2 天”到“2-5 天”感到焦虑和抑郁。所有特征（外向性、神经质、宜人性、尽责性和开放性）的人格得分略高于量表的中性中点。冲动分量表显示，消极和积极紧迫感的平均得分介于“不同意”和“中立”之间，而毅力、预谋和感觉寻求得分则略高，落在“中立”和“同意”之间。参与者报告称，过去一年平均使用大麻“每月一次”到“每月 2-3 次”。过去一年的平均饮酒量下降在“每周一次”和“每周 2-6 次”之间。人格和心理健康变量的测试均未显示响应者类型之间存在显着差异。

合规趋势
图 1显示，在数据收集的 14 周内，平均总体依从性逐渐下降，从第 1 周的 88.9% 高位下降到第 14 周的 70%。预测依从率的混合效应回归结果显示，周（即时间）的显着主效应）、响应者类型和调查类型（完整的模型结果在补充 2 中）。如图 1、2和3所示，响应者类型、调查类型和调查周之间的双向交互作用证实了合规率和趋势的变化（为了简化模型，删除了不显着的三向交互作用）。表 2、3和4总结了简单的斜率和对比分析。

表 3显示，所有响应者类别在 14 周内的依从性均显着下降，但在不太依从的参与者中下降幅度最大（见图2）。例如，不良响应者的依从率平均每周下降 3.13%，而超级响应者每周仅下降 0.30%。对比显示，随着时间的推移，每对响应者组之间的减少率显着不同。
表 4显示，所有调查类型在 14 周内的依从性均显着下降，而早上、傍晚和深夜调查之间的下降率没有显着差异（平均而言，我们观察到每个调查下降了 1.17% 至 1.35%）。这些调查的周）。相比之下，随着时间的推移，中午调查合规性的减少量是每周的两倍，即 2.28%，并且明显大于任何其他调查类型（见图3）。
最后，表5结果表明，与大多数其他调查相比，所有受访者群体的晨间调查的遵守率明显更高。例如，与中午相比，反应不佳的人在早上完成的调查多了 28%，比傍晚完成的调查多了 7%。在充分且良好的响应者中，早上的依从性显着高于所有其他调查类型，而中午的依从性显着低于所有其他调查类型。所有受访者群体的清晨和深夜调查的遵守率相似。超级响应者在各项调查中的遵守率相当一致，仅显示出两个统计上显着的遵守率差异：该组的早晨调查遵守率比中午高 5%，比晚上调查遵守率高 4%。图4 .

完成调查所需的提醒随时间变化的趋势
图 5显示，在完成调查的参与者中，完成调查所需的平均提醒次数随着时间的推移而增加，从第 1 周的 0.20（83.9% 的调查在没有提醒的情况下提交）增加到第 14 周的 0.42（67.4% 的调查）提交时没有提醒）。预测提醒的完整模型结果可在我们的 OSF 项目页面 ( https://osf.io/d4ea8 ) 的补充 3 中找到）。我们发现周、响应者类型、调查类型及其双向交互作用具有显着影响（为了简化模型，删除了不显着的三向交互作用）。随着时间的推移，所有响应者类别的参与者都需要更多的提醒，并且在不太合规的响应者组中，对提醒的需求比在更合规的响应者组中更高。不同调查类型对提醒的需求没有差异。

货币激励的效果
表 6显示了n = 36 名赢得每日抽奖的参与者子集在 25 美元每日抽奖之前、期间和之后几周内遵守率的汇总统计数据。随机效应 ANCOVA（根据研究周进行调整）显示出时间的显着影响，F = 5.30(2, 62.6)，p = .007。事后测试表明，与之前几周相比，平局获胜后几周的合规率较低，t (62.5) = 2.69，p = .009，并且在平局期间，t (62) = 2.86，p = .006，a平局获胜。平局获胜前几周和平局期间的依从性没有差异，t (62.5) = 0.09，p = 0.93。

讨论
这项研究利用从本科生饮酒者收集的数据，全面检查了长期（14 个周末、182 次调查）生态瞬时评估 (EMA) 协议的变化。之前的研究重点关注依从性的研究水平差异，但没有产生多少见解，导致我们只关注单项研究背景下的个体差异。我们的研究得出了三个关键发现。首先，我们发现随着时间的推移，我们对 EMA 协议的遵守情况并不统一。每周的反应率存在巨大的个体差异，但这种差异不能用摄入时收集的任何社会人口统计学、个性、心理健康或物质使用指标来解释。其次，我们发现不同调查类型和一天中不同时间的合规性有所不同，这表明我们测量的不同特征会导致更好或更差的依从性。最后，我们没有发现任何证据表明激励措施可以增强或促进合规性和抽奖可能会产生影响。合规性降低。
随着时间的推移合规性
在所有进行的调查中，我们的合规率为 76.5%，从调查第一周的 88.9% 的高位下降到调查最后一周的 70%。随着时间的推移，依从性下降与其他 EMA 和日记研究一致（Ono 等人，2019 年；Rintala 等人，2019 年；Silvia 等人，2013 年），但我们的混合效应回归模型显示，下降率在总体而言，更遵守 EMA 协议的人与不太遵守 EMA 协议的人。例如，超级响应者在 14 周内保持了 90% 以上的合规率，而足够的响应者则在受访者在第一周的合规率为 90%，在第 14 周下降到 51%。在研究过程中完成 50% 或更多调查的参与者一开始的合规率相似，但很快就出现了分歧。
令人沮丧的是，造成这些差异的原因仍然难以捉摸。我们发现不同响应者类别在人口统计指标（性别、种族、受过教育的父母、粮食不安全）以及研究摄入时测量的任何性格或幸福变量方面没有差异。例如，不同类型的响应者在 5 分制中的平均责任心得分相差不到 0.1 分。这些结果与其他研究一致，这些研究在很大程度上未能发现依从性或缺失报告的任何个体差异（Murray 等人，2022；Sun 等人，2020））。我们也反驳了默里和同事的观点，他们认为较差的自我调节和较高的药物使用与较差的依从性关系不大。在一项受匿名评论者评论启发的补充分析中，我们将参与者与完成了入学调查、通过了筛选措施但决定不参加 EMA 研究阶段的 43 人进行了比较。补充 4 中总结了调查结果（可在我们的 OSF 项目页面上找到），并显示样本在 21 项人口统计、个性或幸福感测试指标中的 15 项上没有差异（例外情况是外向性、神经质、消极紧迫感、过去一年吸食大麻、生活满意度和性别）。考虑到偏差对 EMA 数据质量可能产生的破坏性作用（van Berkel 等人，2020），这些发现令人放心。至少在同意参加要求严格的 EMA 研究的人中，那些贡献较少数据的人似乎与那些贡献更多重要特征和人口特征数据的同行没有什么不同。我们的补充分析表明，某些特征可能有助于决定是否参加 EMA 研究，但这个问题需要超出我们探索性工作范围的进一步研究。一旦注册，遵守的原因可能在于参与者的经验和对研究方案本身的参与。
我们采取了多项措施来确保参加 EMA 研究阶段的参与者在研究开始时就感兴趣并参与其中。每个注册的人都必须首先决定完成我们的资格筛选，提供联系信息，回复完成我们的入学调查的邀请，表达继续参与的兴趣，填写二次同意书，提供他们的电话号码，并回复确认短信。我们假设愿意完成这些众多步骤的参与者预期参与会产生有利的成本效益权衡，并发现我们的团队值得信赖（参见Dillman 等人，2014 年，第 2 章）。此后，参与者可能对调查和协议本身有不同的反应。在对其 EMA 协议的后续采访中，Eisele 及其同事（2022）发现，一些参与者表示，随着最初的兴奋消退、问题变得无聊，该协议变得繁重。其他人则表示，他们已经习惯了将调查提示作为日常生活的一部分。一项研究中，如果参与者在收到提示时尚未使用手机，并且倾向于在手机上使用大量应用程序，那么总体依从性较低的参与者更有可能对早晨的调查做出回应（ van Berkel 等人） ., 2020 ). 相比之下，该研究中具有高依从性的参与者无论背景如何都会对提示做出反应。在本研究中，这似乎是超级的情况受访者，占我们样本的 29%。随着时间的推移，他们很少错过任何提示，也很少拒绝遵守规定。他们每周对提醒的需求也低于其他群体，并且增长速度较慢。对方案的习惯和新颖性的减弱可能解释了我们的不良反应者、适当反应者和良好反应者随着时间的推移依从性降低的原因。短信警报也可能变得更容易被忽视，这解释了对提醒的需求增加的原因。确定可以增加 EMA 研究中超级类群体规模的策略是限制缺失数据的首要任务，个别调查的特征和时间安排可能是有用的干预点。
调查类型差异
一个重要的发现是，参与者在完成调查时是有选择性的，有些调查显然更容易或更容易完成。与其他研究一致（van Berkel 等人，2020），早上所有群体（包括反应较差的群体）的调查完成率最高。这些调查包含的问题比任何其他调查都要多，但持续时间为 4 小时，而且是在当天早些时候，此时受访者较少承担社会和家庭义务，因此参与的障碍可能较少。事实上，我们选择上午 10:00 至下午 2:00 的时间范围时考虑了本科生典型的每日日程安排。例如，针对社区样本和老年人的 EMA 研究可能会更好地遵守早上 6:00 或 7:00 发布的调查提示。清晨和深夜调查的完成频率第二高，且比率几乎相同。尽管傍晚调查有 2 小时窗口，而深夜调查有 4 小时窗口（晚上 11:00 开始），这些调查的遵守率在任何受访者群体中都没有显着差异。中午调查的合规率最差，与每个组中的所有其他调查类型存在巨大差异，除了超级受访者。对于良好、合格和较差的受访者，当天上午和中午的调查中，合规率平均下降了 20 至 40 个百分点（见图5）。
中午的调查只持续了 2 个小时。对于傍晚的调查来说，这是一个足够的完成窗口，但在一天中的过渡部分，当许多人通勤回家并为晚上的社交活动做准备时，它的呈现可能是一个缺点。然而，也许更重要的是，中午的调查涉及一项繁琐的认知任务，中位完成时间只有 4 分钟多一点。我们怀疑大量参与者经常选择跳过这项调查，他们被要求分 5 个区块完成反应抑制（停止信号）任务，每个区块进行 16 次试验。我们最初的期望是参与者会将此任务视为游戏，其中包括每个区块后的准确性反馈。在其他研究中，带有“游戏化”元素（例如得分、玩家排行榜、范伯克尔等人，2017）。不幸的是，我们中午的任务可能比乐趣更繁重，导致合规性降低，再加上在一天的繁忙时间吸引参与者注意力的潜在挑战。
激励措施可能会延迟人员流失
在本研究开始时，我们预计定期提供的激励措施将有助于克服与​​持续参与 EMA 相关的负担感以及有时感觉调查无趣或侵扰的感觉。我们的设计包括每次调查 1 美元的补偿，每个周末调查爆发后 2 天通过电子邮件发放礼品卡付款（大多数参与者立即兑换或上传付款到亚马逊）。定期激励是一个可能有助于提高参与和自我选择我们的研究的特征（Ludwigs et al., 2020），但我们未宣布的奖金和礼品卡抽奖使我们能够直接测试激励措施对合规性的影响。对于这两种类型的激励措施，我们没有发现任何证据表明在奖金或平局获胜后的一周合规性得到“提升”。相反，学生赢得礼品卡抽奖后几周，遵守率显着降低。
根据经济交换原则推断，我们假设如果人们获得工作报酬（现金或礼品卡），他们将更愿意完成工作（回应调查）。元分析工作证实了这一点，表明提供经济激励的研究中的合规率更高（例如，Church，1993；Wrzus & Neubauer，2022），并且感觉得到充分补偿的人往往会完成更多的调查（Martinez 等人， 2021）。相比之下，未宣布的奖金和奖金应该唤起参与者的社会交换义务感（Dillman et al., 2014），p。370）以提高合规性。在纸质邮件调查中，与邀请中不包含预激励的控制条件相比，在初始调查邀请中包含小型“预激励”可将参与率提高 11% 至 25%（Lesser 等，2001）。我们没有发现任何证据表明参与者在收到 5 美元意外奖金后的几周内完成了更多调查。然而，合规率也没有下降收到奖金后的一周，这些激励措施有可能推迟合规减少。我们的抽奖参与者子集实际上在赢得 25 美元礼品卡后完成的调查较少，这表明抽奖奖金可能取代了完成下周调查的动力。然而，赢得平局的参与者的整体合规率 (77.2%) 与未赢得平局的参与者的整体合规率 (74.5%) 没有显着差异，t (65.51) = –.82，p = 。 415，表明获胜平局对参与度没有持久影响。EMA 研究中的激励有效性是一个需要更仔细研究的话题，但我们同意Kaurin 及其同事的观点 (2022)他建议详细报告研究设计决策的重要第一步，包括激励结构。
优点和局限性
本研究的一个关键优势是我们在纵向 EMA 设计中使用了有关依从性的详细信息，从而可以与迄今为止测试的几乎完全研究间效应形成对比。我们能够评估 14 周、182 次调查期间的合规趋势；测试社会人口统计、性格、心理健康和物质使用随时间推移的依从性差异；确定调查类型和一天中不同时间之间的差异；并评估不同的激励技术以保持合规性。我们在 14 周内的总体合规率为 76.5%，与许多其他仅 1 或 2 周数据收集的研究的结果相当。换句话说，
同时，合规性数据是该样本的副产品，而不是主要目标。我们没有随机分配参与者接受不同类型的调查或不同的激励结构，因此我们可以从这项工作中得出的一些因果结论受到限制。一个意想不到的限制是参与者明显不喜欢在中午的调查中占重要地位的停止信号任务。我们推测（而非证实）本次调查的低依从性是由于任务的性质造成的，但我们不能排除仅一天中的某个时间（下午 4:00 至下午 6:00）可能导致低依从性。
结论和建议
总之，这项为期 14 周、包含 182 项调查的 EMA 协议显示，随着时间的推移，依从性逐渐减弱，具体情况因受访者类型和调查类型而异。在整个研究中，人口统计、性格、心理健康和药物使用指标并没有区分依从率较高和较低的参与者。根据这些发现，我们为未来的 EMA 研究提供以下建议：
制定研究招募策略，以最大限度地提高高度参与的参与者的比例
我们的超级受访者几乎完成了他们收到的每一项调查。随着时间的推移，他们的依从性下降速度也比其他组慢，这表明高度参与的参与者即使在很长的协议中也可以保持良好的响应率。鉴于高质量完整数据在 EMA 设计中的至关重要性，研究团队需要尽一切努力确保最终样本中的人想要参加研究。吸引潜在参与者参加一项有大量后续研究的研究可能具有挑战性，因此我们的第一个建议似乎违反直觉：至少让报名研究变得有点困难。仅招募在开始 EMA 调查序列之前完成多次筛选、签到或其他招募阶段的参与者。潜在的参与者在我们筛选程序的每个阶段都退出了，给我们留下了一个最终的样本，该样本在数周内产生了很高的合规率。该策略的另一个好处是创造机会来检测和丢弃“机器人”和粗心的受访者，这些受访者近年来已成为在线数据收集的祸害（Storozuk 等人，2020））。针对真正的参与者，我们的后续建议包括研究设计建议，这些建议可能有助于在整个研究过程中保持他们的参与水平。

管理完成有趣（或至少不乏味）的简短调查和任务
我们对其他工作得出的调查长度或深度不影响协议合规性的结论提出异议。尽管我们工作之前的荟萃分析和实验数据未能发现与更多问题的调查相关的研究间依从性差异（Hasselhorn 等人，2022 年；Ottenstein 和 Werner，2022 年；Williams 等人，2021 年），但证据表明感知负担较高，数据质量可能较差（Eisele 等人，2022 年；Hasselhorn 等人，2022 年）。我们中午的调查认知任务与我们的其他调查不同，除了参与度最高的超级员工外，其他人的遵守率都低得多。受访者。我们建议研究团队密切关注调查或任务的特征，这些特征可能会增加重复的感知负担（冗长的调查、无聊的任务、一遍又一遍地看到相同的问题）。从问题池中随机选择项目以及包含反馈的互动游戏等策略可能有助于打破频繁回答的乏味。

向参与者支付费用并考虑低成本的补充激励措施以延迟人员流失
激励措施是吸引参与者参与 EMA 协议的重要工具。我们研究中的高整体合规率可能部分归因于其激励结构和频繁的付款计划。在我们提供额外的意外奖金后的几周内，我们并没有看到合规率有所提高，但我们仍然建议将这种方法作为防止一些人员流失的潜在策略。在研究过程中，我们在每周奖励上花费了超过 25,000 美元，在奖金和抽奖上仅花费了 3,000 美元。鉴于其建立商誉、增强信任和维持参与者参与度（如果不能增强的话）的潜力，成本效益权衡仍然倾向于使用补充激励措施，尽管我们对使用更高价值的彩票持谨慎态度。比如在这项研究中显示短期依从性降低的奖品。

随着时间的推移，参与者对 EMA 研究的参与度无疑难以维持，而且每一项新的调查都会给更多的人带来退出或忽视提示的机会。Kaurin 及其同事（2022）提出了平衡 EMA 评估的密度、深度和持续时间的建议。我们进一步鼓励研究团队仔细构建他们的研究设计机会以增强参与度。提醒消息、完成调查后的反馈、补充激励和游戏化元素是提高数据数量和质量的有前途的工具。