新闻资讯
高等教育网上考试:探索远程学习学生的接受和满意度
背景
对高等教育网上考试的研究显著增加,特别是在19大流行病期间成为普遍做法。然而,以前的研究侧重于了解与学生对"传统"大学在线考试的态度相关的个别因素。此外,对大学生远程学习从亲身考试过渡到在线考试的经验了解甚少。
目标
本研究通过多种因素,调查大学生在从亲身考试向在线考试过渡过程中的接受度和满意度。
方法
我们采用混合方法研究来了解评估因素和在线考试因素之间的关系。,复习和在线考试满意度,评估能力,监考录取,考试焦虑和工作满意度)。集群分析和访谈数据有助于我们了解那些对在线考试"非常积极"和"不太积极"的学生。
结果和结论
我们的研究结果强调了通过建立学生在整个学习过程中的评估能力来提高学生信心的总体重要性,并使他们及早熟悉实际考试中使用的技术和格式。此外,我们亦研究学生的特殊特点,例如残疾学生、照顾责任学生、精神健康问题学生、或缺乏所需科技的学生等,导致网上考试接受率下降。
牵连
这项研究的结果和建议有助于为今后设计公平和可信的在线评估,包括考试的更广泛议程。
1.导言
在线远程评估在从认证方案到远程教育和面对面的高等教育的教育背景中越来越受欢迎。两种共同办法包括远程自动评级评估和同行评估。自动评级评估(例如:,多选择问题)提供可伸缩性和评价效率(格兰杰, 2013 )。通过同行评估,学生可以根据预先定义的文字对彼此的工作进行评估和评分(巴厘岛,巴厘岛)。 2014 )。自动评分方法主要用于大型开放式在线课程(MOOC),涉及大学生群。尽管如此,科斯特洛等人。( 2018)强调建立有效的自动评级评估并对其进行评级的挑战,强调无效设计对学习者成绩和课程可信度的严重影响。
在某些情况下,远程形成性和总结性评估与课堂绩效和面对面评估方法相结合。在学生较少的课程中可能会遇到这些混合方法,例如为目标受众提供专门培训的小型私人在线课程。这些混合办法也在一些提供混合办法的大学教室中使用。根据卡普兰和海琳的说法( 2016 ),这种混合评估策略,通常涉及与导师的互动,并确保完整性和有效性。
远程学习大学,为大小学生服务,因执行远程作业而闻名,特别是为形成性的评估目的。这种做法是由这些机构的学生的不同特点推动的,包括不同的地点和个人情况,这对定期组织现场学习和评估活动构成挑战。传统上,许多远距离学习的大学都为总结性评估进行面对面的期末考试。然而,为应对19世纪共同赞助的大流行病,这些机构与传统大学一样,迅速转向完全远程的评估模式。
根据多米尼克-菲加雷多等人的说法。( 2022 ),经历了从亲临考试到远程考试的突然转变的大学生,其学业表现整体上有所提高。不过,阿里斯坦都和克罗斯( 2021 )注意这种快速转变如何影响远程学生与评测有关的活动,例如复习、练习测验和作业准备。这些挑战是由于难以管理他们的工作量以及个人情况对他们的学习产生重大影响而产生的。
有限的研究特别侧重于远程学习大学从面对面考试过渡到在线考试。 2021 ;多米尼克-菲加雷多等人。, 2022 )。以往关于远程教学在线评估的研究主要是研究学生对现有在线评估模式的体验,而不是向在线考试过渡。 这个研究空白形成了我们的第一个研究目标(O1)。远程学习大学为具有不同教育背景、年龄和职业目标但不能上传统大学的个人提供了方便和灵活的学习机会。与传统大学的学生一样,远程学习的学生以前也参加过面对面的考试,这使到在线考试的转变成为一种新的、潜在的不熟悉的体验。
必须指出的是,在"共同关注-19"大流行病之前和期间,一些通常提供面对面教育的大学进行了专门侧重于学生对向在线评估方法过渡的满意度的调查。这些调查揭示了与过渡有关的各种因素,使人们深入了解学生的挑战、成功和对转到在线考试的总体满意度。
流行病前期、托普兹和金舒克( 2021 )有系统地检讨了2002至2019年的61篇论文,以了解学生对远程评估的意见。他们发现积极的方向包括在线考试不会增加焦虑,学生希望将来使用这种评估方式--最突出的消极态度是在考试中涉及技术问题。作弊和剽窃产生了相反的观点,学生在那些认为远程考试作弊容易的人和那些认为相反是正确的人之间分裂。关于学习效能,学生们报告说,在线评估能更好地帮助学习过程。
后流行病研究:由亲身前往网上考试的过渡,与托普兹和金舒克( 2021 )确定的地区。在线考试与学生的压力和焦虑有关。考试时间、时间限制和无法追溯问题等因素导致了压力的增加。 2021 诺维克等人, 2022 )。在线考试的设计和格式也发挥了作用,可见钟和口试造成了更大的压力(诺维克等人)。, 2022 )。研究表明,考试时间、地点和提问顺序的灵活性可以减少学生的焦虑(索伦森, 2013 斯托韦尔和班尼特, 2010 ).
人们对无监督的开放式在线学位认证考试的有效性感到关切(JHA等人)。, 2022 )。挑战在于在监考技术、防止作弊和确保学生的正面体验之间找到平衡点。, 2020 )。监考平台可以增加考试强度和紧张情绪,特别是当伴随着质量差的技术时,并侵犯隐私权。, 2020 诺维克等人, 2022 )。然而,监考本身并不一定意味着学习成绩较低(卡波特和阿布达布斯, 2021 )。至关重要的是,要优先考虑学术诚信,考虑灵活的监考解决方案,以满足安全需要,同时促进积极的考试环境(Hilige等人)。, 2022 哈利勒等人, 2022 ).
与学生日常生活和环境有关的因素,如上网和家庭环境质量,可以在网上考试中产生公平问题。, 2020 ;埃尔沙龙等人。, 2020 )。研究领域和性别也被发现在网上考试中影响压力水平(ElSalem等人)。, 2020 )。学生可能对某些界面功能有偏好,如字体类型和颜色,这些功能应该被认为是提供了变化和选择(卡里姆和舒库尔, 2016 ).
尽管对在线考试存在挑战和不满,学生们还是倾向于通过在线考试而不是亲自参加考试。 2021 ). 虽然学生的经验和观点表明他们喜欢在线考试,但不清楚是什么因素决定了这种倾向--解决这一差距是本研究的第二个目标。 大多数研究要么调查在线考试的单一方面(崔等人)。, 2020 )或网上考试的一些方面,但这些方面彼此之间的联系却不一样。 2021 诺维克等人, 2022)。为此,本研究旨在探讨与远程学习学生对在线考试的积极态度(接受和满意)有关的因素和学生特征。特别是,我们的目的是回答以下的研究问题:(1)不同的评估因素和在线考试因素之间的关系是什么(从文献回顾和我们以前的远程学习经验中可以看出)?(2)是否有不同的学生群体(个人简介)对网上考试有不同的看法?如果是的话,学生情况与学生的人口统计、特征和观点之间的关系是什么?
在这项研究中,我们提供了以下贡献:(1)第一项研究探索了远程学习学生在从亲自参加在线考试过渡到在线考试时的接受度和满意度,(2)一种混合方法的方法,以探索决定学生对在线考试的态度的因素。我们的调查结果和建议可能会为设计公平和可信的在线考试系统提供指导,学生会积极看待并支持他们对在线考试的技术方面充满信心。
两种方法
2.1混合方法解释设计
本研究采用了一种混合方法的解释设计,其中定性数据建立在初始定量结果(克雷斯韦尔等人)的基础上。, 2003)。采用混合方法设计,对学生对网上考试的满意度和满意度进行了补充和说明,提高了考试结果的稳健性。作者采用两阶段混合方法设计,从收集和分析通过调查收集的定量数据开始。在第一阶段之后,随后通过访谈收集和分析定性数据,与第一个定量阶段的结果挂钩并采取后续行动。作者确定了需要进一步解释的具体量化结果(例如:,收集不同学生群体的差异),并通过收集定性调查结果来解释这些差异。
2.2背景和环境
我们探索了英国开放大学(OU)的大学生对远程在线考试的接受和满意度。UU支持一种学习模式,它涉及通过虚拟学习环境(VLE)、在线教程和小型导师小组提供课程。大流行前的课程主要由两个部分组成:通过职业教育课程管理的持续评估和通过职业教育课程提交的面对面考试或某种形式的任务或项目工作的最终评估。大约24%的课程以面对面考试结束,但这一部分在大流行病期间被删除,目前正在被替换,主要是远程开放式考试,计划实施在线考试模式。
目前开放式考试在各院系、学校和课程之间有所不同。, 2022)。对于科学、技术、工程和数学(STEM)系的学生来说,最常见的考试活动是方程式和数学工作,其次是简短的答案、多项选择性问题和较长的答案。社会科学和人文学院学生主要从事论文工作。同样,在商学院,学生们从事论文工作,然后是长答案活动、短答案活动和方程式/数值工作。在福利、教育和语言学院,学生们写论文,然后回答多项选择题。其他考试活动包括自我反省(所有院系)、绘图、照片和图表等视觉输出(STEM和FAS)、录制或现场录音和翻译(FSS)。许多考试互动需要一个24小时的提交窗口(39%),或者在2-4.5小时(37%)内完成。其他选择是7天或3天提交窗口。开放式考试期间没有监考。
在这项研究中,向学生介绍了潜在的互动类型(如上面所解释的)和关于未来在线考试模式的监考选项。如前所述,潜在的相互作用涉及多种选择问题、简短的答案、较长的答案、方程或其他数值工作方式,产生口头输出、产生视觉输出,如绘图、建立工作组合、翻译和自我反省。开始考试的灵活程度包括模块中的每个人同时开始,有超过24小时的选择,有超过3至7天的选择。监考选项包括临时限制,例如锁定自己的浏览器,通过面部或语音识别验证身份,通过出示身份证件和监考员联系并确认所需学生正在参加考试来验证身份。
学生被要求选择他们的首选选择,并完成考虑这些选择的研究工具,为未来的在线考试模式。这项工作没有记录对他们首选选择的反应;我们更侧重于学生对在线考试的总体接受和满意度(作为面对面考试的替代)。学生的意见将参考他们以前在X大学网上考试的经验和拟议的未来考试模式。
2.3征聘
我们招募了任何一年的学生和在大学的教师参加在线调查(附录)。 A )。欧盟道德操守委员会免除审查,参与调查是自愿的。该调查于2022年2月n24日至3月22日期间对整个大学随机抽样的学生(抽样:10000人)进行,并收到562份答复(答复率5.6%)。这种反应率类似于其他远程学习者的研究。在启动分析进程之前,有关数据集于2022年4月n1日n匿名。没有远程在线考试经验的学生从数据集中删除,最后抽样190人。
2.4调查
2.4.1网上考试调查表
本研究中使用的在线考试经验、在线考试修订经验和评估能力的量表取自欧洲联盟(CERS等人)Sefar团队的一项现有调查。, 2016 )。这项调查首次在2015年进行的机构调查中进行测试( n =281)。13次后续访谈有助于验证一些物品,并说明如何修改其他物品。在大约100个问题中,大约30%是关于复习和考试。最初调查中使用的问题项部分是由先前测试过的项目结构发展而来的(德莫, 2009 吉布斯和邓巴-戈戴特, 2007 瓦蒂等人, 2021 ),也是部分的,由新创作的项目组成,旨在探究其他的主题,如焦虑(法奇科夫和布德, 2007 ),考试准备(佩恩和布朗, 2011 ),及修订经验(恳求及请求, 2003 )。复习考试的经验与参加考试的经验截然不同,两者之间的关系,即使存在,也并不直截了当。, 2016 )。该调查表于2020年修订、延长、试行并再次使用( n = 572) (Cross et al., 2022 )。除了上述等级外,这次调查还制定了14项评估能力(又称评估能力)等级表,用于远程学习背景绘图。这是建立在各种研究结果之上的(史密斯等人)。, 2013 )。内部因素分析表明,该比额表能够识别与评估理解、评估判断和学术素养有关的因素。监考验收量表是专门为我们的研究开发的,可靠性由研究小组的专家进行内部检查。
2.4.2偏好和个人情况
这项调查还包括关于学生过去在线考试的经验、是否有机会和对使用技术的信心以及个人情况的问题。他们以前在网上考试的经验是通过5个点的利凯特量表(1=负,5=正)衡量的,然后转化为二进制变量(正/非正)。与技术有关的答复是通过二进制方法(是/否)收集的,涉及的是他们是否拥有带摄像头的设备、他们拥有带麦克风的设备、他们拥有宽带或4G质量的互联网连接、对建立和使用技术的信心、对在评估期间处理潜在技术困难的信心以及质量或互联网连接可能是在线考试的障碍。个人情况信息也是通过二选一的办法(是/否)收集的,方法是询问具体的个人情况是否会成为参加在线考试的障碍:这些障碍涉及心理健康问题、儿童保育责任、其他照顾责任和就业限制。
2.4.3人口和特征
从大学的数据库中检索了关于调查对象的人口统计和背景特征的进一步数据。人口统计包括其性别(男性/女性)、年龄(整数)和种族(黑人、亚裔或少数族裔/无性别或无性别)。其他信息涉及学生的特点,如申报的残疾(是/否)、教师(FASS/STE/ESTE/FBL)、他们是否获得了一个级别(联合王国学校和学院提供的传统的基于学科的资格,并可能导致大学或进一步学习)(是/否)、他们是否有资格意图(是/否)以及他们最近的考试成绩(整数)。
2.4.4探索因素分析
通过探索性因素分析,选择并评价了衡量学生在线考试接受率和满意度的各项指标的有效性。
当因子分析寻找变量之间的关系时,我们通过数据的相关矩阵确保存在一些中高相关性,但没有多重相关性(理想情况下,两者之间的相关性得分 r = 0.3 and r =0.8)对于每一个尺度,我们都使用卡塞尔-迈耶-奥尔金(KMON)测试和巴特利特的球性测试来确定因素分析适合我们的数据集。气象组织评估了样品的尺寸是否足以进行因素分析,但不到0.5的数据表明样品太小。我们在巴特利特的球性测试中寻找不到0.05的意义值来评估我们的变量之间是否有足够数量的相关性来进行因子分析。
与特征值1并行的"肘"图有助于我们决定每个尺度要提取多少因素。为每个变量报告最后的因子负载和通信,并为每个提取的因子提供有意义的名称。对最终在线考试表进行了可靠性分析,并将其纳入结果。每一尺度均以其平均值来描述( M )和标准偏差(SD),用偏斜度和角下垂度来测试它的正常性分布。
2.4.5集群
基于以人为本办法的集群方法 2015 )是根据学生对网上考试的接受程度和满意程度来区分普通学生群体的。用SPSS进行聚类分析。通过全民教育获得的最终评估结果被用来确定学生的情况。在集群之前,作者计算了每个被调查者的平均评分,将每个评分表中的所有项目得分加起来,除以总评分表项目。然后在间隔时间[0.1]内,尺度的值正常化。分析是利用 k -基于六个最后尺度(变量)的平均聚类分析: 修订满意度 , 在线考试满意度 , 评估能力 , 监考验收 , 在线考试焦虑 和 工作空间满意度 .
选择了可能的集群数目(2至5个),以便在没有非常小的集群的情况下实现最大的剖面变化。然后通过比较每个潜在集群的组内和组间的正方形和来评价集群的质量(安德森, 1973 )。理想的集群数是最小化组内和正方形(学生和他们所属的集群中心之间的差异),同时最大化群体间和正方形(集群之间的差异是指)。由此产生的学生概况得到了验证,并结合属于每个概况的学生的定性(访谈)数据进行了描述。
2.4.6统计分析
用皮尔森等级相关性评估了最终在线考试量表之间的关联度。重要研究结果的影响大小是根据科恩的标准来解释的(科恩, 1992 )。0.10和0.29之间的相关系数代表一个小的关联,0.30和0.49之间的系数代表一个中型关联,0.50和以上的系数代表一个大的关联或关系,正(+)符号表示一个正(+)符号表示一个负(-)符号表示一个负关系。
进行推论分析,以确定不同的集群是否与学生群体有关(根据偏好和个人情况、人口和特征确定)。独立抽样 t -测试的目的是探讨这两个组别如何与学生的年龄和考试成绩有关,而奇方测试的目的是探讨这两个组别如何与其他特征(例如:性别)。所有分析都使用了0.05的α水平。
2.5半结构性访谈
根据他们的专业知识、文献和定量调查结果,作者编写了一份访谈指南(附录)。 B ),以探讨网上考试的各方面,例如这种方式的优缺点,考试焦虑,科技,监考,个人环境,工作满意度,与面对面考试的比较。一个有经验的面试官利用大学提供的平台进行了所有的面试。访谈记录用于转录,在数据分析之前匿名。
为了数据分析,我们使用了布劳恩和克拉克( 2006 )专题分析方法,以确定、分析和报告专题。分析首先由了解数据的作者马英九和TR进行,他们分别阅读了两份手稿,以生成一套最初的代码,然后审查另一位作者的代码。关于这两种编码办法的讨论通过协商一致意见促进了共同初步编码办法的发展。然后,所有团队成员讨论并完善主题,最后定义、命名和描述主题(附录) C )。这项工作只包括参与者能够帮助理解量化数据结果的引用。
2.6参加者
2.6.1调查
调查对象中男性占40.2%,女性占59.8%,属于下列年龄组:10.1%25岁及以下,25.6%26-35岁,22.4%36-45岁,20.6%46-55岁,11.7%56-65岁和9.4%66岁或以上。很大比例的受访者来自STE(38.7%)和FASS(33%),参与者有肠(15.4%)、FBL(10.6%)和入学学生(2.3%)。学生抽样包括11%的学生和13.7%的宣布残疾的学生。虽然学生选择是否参加,但最终抽样规模代表了大学人口,因此,没有必要进行平衡测试。
约半数的参与学生(48%)从事全日制工作或志愿者工作,五分之一(21%)负有重要的照顾责任。关于可用的空间和设备,87%的人认为他们可以在家里有一个地方进行在线考试,89%的人拥有笔记本电脑或台式计算机,86%的人有网络摄像头,85%的人在设备上有麦克风,88%的人有宽带或4G质量的互联网连接。
2.6.2面谈
向30位选定的调查对象发出了访谈邀请,以形成一个具有代表性的抽样,其答复可帮助我们在定量结果的基础上再接再厉。为不接受面谈请求的8名答卷人作出了其他选择。我们采访了15名男性和15名女性调查对象(每组50%),年龄组如下:两个(6.7%)25岁以下,八个(26.6%)26-35岁,八个(26.6%)36-45岁,五个(16.7%)46-55岁,三个(10%)56-65岁,三个(10%)66岁或以上。16名受访者来自STEM(53.3%),9名来自FSS(30%),3名来自EJE(10%),2名来自FBL(6.7%)。面试样本包括3位(10%)学生、7位(23.3%)被宣布为残疾人和5位(16.7%)没有级别的学生。
13名(43.4%)受访者从事全日制工作或志愿者工作,8名(26.7%)负有重要的照顾责任。关于可用的空间和设备,28个国家(93.3%)同意他们在家里有一个可以用于在线考试的地方,26个国家(86.7%)拥有笔记本电脑或台式计算机,28个国家(93.3%)拥有网络摄像头,26个国家(85%)在设备上有麦克风,26个国家(86.7%)拥有宽带或4G质量的互联网连接。
面试参与者的挑选确保了所有由此产生的学生集群都有代表。在每次访谈引用之后是参与者的身份标识、性别、白人/少数民族的身份认同、年龄、获得一个级别、教职人员及其所产生的概况。例如(R12,男性,白人,42,有水平,茎,强阳性)。
3项结果
3.1在线考试因素之间的关系
3.1.1在线考试量表的探索性因素分析和可靠性
探索人类的因素结构 在线考试体验 对所有9个仪器项目的比例进行了探索性因素分析。KMA值为0.79,巴特利特的球性测试 χ 2 : 630.40 ( 文件格式 = 36; P &l;0.001)。这些因素进行了直接的圆球蛋白旋转,通过使用石板图和特征值&t;1的分析表明,提取三个因素是适当的(见表)。 1 )。三个因素的差异为71.43%。因素1被贴上标签 在线考试满意度 因为它涉及到显示学生对考试方面的满意度的项目,如分数满意度、考试乐趣或成就感。这个因素解释了41.64%的方差后,旋转.要素2被贴上标签 在线考试焦虑 因为它包括与学生对考试的焦虑直接或间接相关的反应。这一因素解释了轮调后差异的18.15%。要素3被贴上标签 工作空间满意度 因为它代表了学生对他们考试工作的质量和充分性的满意。这个因素解释了11.64%的变化后,轮换.
TABLE 1. 在线考试项目体验量表的探索因素分析。
物品 1 2 3 社区性
考试题让我展示了我学到的东西 0.83 0.01 −0.03 0.71
我对自己的成绩很满意 0.78 0.09 −0.02 0.61
完成考试给了我一种成就感 0.74 0.21 −0.14 0.65
我喜欢考试 0.73 −0.24 0.11 0.59
考试题很清楚 0.53 −0.19 −0.32 0.60
我在考试的时候很焦虑 0.16 0.89 0.12 0.76
考试比我想象的要难 −0.20 0.78 −0.13 0.70
我能找到一个安静的地方去参加考试 0.02 0.00 0.94 0.90
我对我在家使用的空间的质量很满意 0.05 −0.01 0.94 0.91
注意事项 提取法;最大可能性;旋转法;与凯撒规范化的椭圆蛋白。超过0.40的载荷用粗体表示。
同样,《公约》的九个项目 修订满意度 对比例进行了探索性因素分析。KMA值为0.88,巴特利特的球性测试 χ 2 : 570.35 ( 文件格式 = 36; P &l;0.001)。通过对最大概率因子的分析,结合SISE图和特征值,得出了最适合数据的双因子解,占方差的58.89%。因素1解释轮调后差异的47.51%,代表 修订满意度 ,而第2项因素侧重于 修订焦虑 ,解释11.38%的差额,只涉及一个与焦虑有关的项目(表) 2 ).
TABLE 2. 修订满意量表项目的探索因素分析。
物品 1 2 社区性
修改有助于我反映和整理我在模块中早些时候学到的东西 0.83 0.01 0.68
我的导师给了我足够的复习支持 0.81 −0.01 0.66
关于如何参加我的在线考试有足够的信息 0.76 0.01 0.57
模块中的TMAS让我为模块考试的结束做好了充分的准备。 0.73 0.12 0.53
我很清楚我应该修改什么 0.72 0.02 0.51
我喜欢复习模块材料 0.71 −0.08 0.52
模块中有足够的时间供修订 0.64 −0.23 0.48
我复习的时候学到了新东西 0.64 0.10 0.40
我复习考试时经常感到焦虑。 0.02 0.98 0.95
注意事项 提取法;最大可能性;旋转法;与凯撒规范化的椭圆蛋白。超过0.40的载荷用粗体表示。
为了进一步减少,与焦虑有关的两个因素,"在线考试焦虑"和"复习焦虑",合并成一个单一的尺度。 在线考试焦虑 ,K莫值0.53及巴特利特的球性测试 χ 2 : 30.74 ( 文件格式 = 3; P < 0.001), explaining 57.29% of the variance.
四项目探索因素分析 评估能力 和五个项目 监考验收 标量显示了每个元素的一个因子解。 评估能力 KMOM值为0.77,巴特利特测试了球性 χ 2 : 946.16 ( 文件格式 = 10; P < 0.001), explaining 55.41% of the variance. 监考验收 KMOM值为0.79,巴特利特测试了球性 χ 2 : 820.17 ( 文件格式 = 6; P < 0.001), explaining 67.07% of the variance.
桌子 3 总结了对由此产生的六个在线考试量表的描述性统计数据和可靠性测试:修订满意度(修订满意度);在线考试满意度(在线考试满意度);评估能力(评估能力);监考录取率(印度);在线考试焦虑症(在线考试焦虑症);工作满意度(工作满意度)。所有的指标都是内部可靠的,因为α值从0.72(满意)到0.88(非常好)不等.此外,这些指标有充足的正常分布与<2.3偏斜度(雷&un;洛马克斯, 2005 )和7.0库尔多(伯恩, 2013 )。所有因素的负荷从0.74到0.85不等。最后六个在线考试表,通过普及教育,可在附录中找到。 D (表 D1–D6 ).
TABLE 3. 每项指标的描述性统计和可靠性。
计量学 N Mean (range 0–1) 标准数据集 倾斜 库尔德病 不。项目的数量 α 价值
重新部署 190 0.75 0.17 −1.46 3.78 8 0.88
Oesat 186 0.68 0.19 −1.01 1.76 5 0.83
阿斯科 190 0.57 0.21 −0.18 0.11 4 0.82
国际志愿人员协会 190 0.77 0.26 −1.01 −0.03 5 0.81
Oeanx 189 0.62 0.23 −0.39 −0.34 3 0.72
世界安全卫星组织 183 0.85 0.20 −1.82 4.23 2 0.91
注意事项 :ASCOM,评估能力;INAC,监考录取;OEANX,在线考试焦虑;OESAT,在线考试满意度;Rev,修订满意度;WSSAT,工作满意度。
有网上考试经验的远距离学习学生在其工作区内有整体上优秀的学习经验( M =0.85);非常了解监考( M = 0.77), revision ( M = 0.75) and exam ( M =0.68)经验;某种程度的焦虑( M 和相对较低的信心 评估能力 ( M = 0.57).
3.1.2在线考试表之间的相关性
为190名有在线考试经验的学生计算了6个指标之间的相关性(见表)。 4 )。皮尔森相关性表明,一些指标之间存在显著的相关性。… 在线考试满意度 有很强的正相关性 修订满意度 ( r (190) = 0.72, P 这是一个与…… 工作空间满意度 ( r (183) = 0.52, P 与…之间的积极联系很弱 评估能力 ( r (186) = 0.34, P 和非常弱的负相关性 在线考试焦虑 ( r (186) = −0.22, P = 0.002). 修订满意度 有适度显著的正相关性 工作空间满意度 ( r (183) = 0.57, P 和非常弱的正相关性 评估能力 ( r (190) = 0.29, P < 0.001). Finally, 评估能力 很少有积极的联系 监考验收 ( r (190) = 0.24, P = 0.001) and 工作空间满意度 ( r (183) = 0.21, P (=0.005),与…之间的显著负相关性很弱 在线考试焦虑 ( r (189) = −0.25, P = 0.001).
TABLE 4. 指标之间的相关性。
计量学 1 2 3 4 5 6
1. RevSat -
2. OeSat 0.72 ** -
3. AsCom 0.29 ** 0.34 ** -
4. InvAcc 0.08 0.06 0.24 ** -
5. OeAnx −0.02 −0.22 ** −0.25 ** −0.11 -
6. WsSat 0.57 ** 0.52 ** 0.21 ** −0.05 0.03 -
注意事项 *评估能力:评估能力;印度国家统计局,监考录取;在线考试焦虑;在线考试满意度:在线考试满意度;修订满意度:在线考试满意度:工作满意度:工作场所满意度。
** P < 0.01.
3.2RQ2在线考试学生简介
3.2.1团体识别
我们确定了两个独特的学生参与情况,涉及学生对在线考试的接受和满意度。简介1代表对网上考试学生简介的"强烈肯定"( n =126)及简介2"不太积极"简介( n = 57). Figure 1 显示一个比较图表和每个配置图的比例尺平均值.
详情在图片后面的标题中
图1
在图形查看器中打开
幻灯片
平均水平的在线考试按学生概况(范围0-1)。
总的来说, ‘ 学生的正面形象表现出较高水平 修订满意度 在线考试满意度,评估能力,监考接受度和工作满意度,以及较低的焦虑程度。集群差异(表) 5 更重要的是 评估能力 以及 修订满意度 随着"强阳性"的特征显示出焦虑水平的高水平和低水平。
TABLE 5. 使用每项指标的聚类差异 t -tests.
强阳性的 不太积极的
M 标准数据集 M 标准数据集 t -测试
重新部署 0.81 0.11 0.62 0.21 −6.57 **
Oesat 0.75 0.14 0.54 0.19 −8.45 **
阿斯科 0.64 0.16 0.41 0.18 −8.49 **
国际志愿人员协会 0.86 0.19 0.59 0.28 −6.55 **
Oeanx 0.58 0.23 0.71 0.22 3.49 **
世界安全卫星组织 0.91 0.13 0.71 0.26 −5.61 **
注意事项 *ASCOM,评估能力;INAC,监考录取;Oeanx,在线考试焦虑;Oesat,在线考试满意度;Rev,修订满意度;WSSAT,工作满意度;标准化指标范围从0(低)到1(高)不等。
** P < 0.01.
对考试"非常积极"的学生的面试答复强调,例如,在复习期间模拟和练习在线考试对于感觉准备好和对在线考试更满意的重要性:
""[...]。一旦我们进行了模拟考试,你就会知道他们提出的问题的范围,你知道,你需要提供的信息量或细节,以及他们想要找的领域。我基本上就是这么做的。我是说,我看了模拟考试,实际上很自信,因为我做得相对不错。
(R11,男性,白人,42,水平,茎,强阳性)
但是,一旦我参加了练习考试--或者是在几个星期前在网上提供的练习版本,而且似乎进行得相当顺利,实际上我发现实际考试的压力比传统的[面对面]考试要小得多。
(R27,男性,白人,40岁,一级,茎,强阳性)
如表所示,"非常积极"的学生也强调了评估能力和对考场的自信,增加了使复习和考试经历更具吸引力的原因。 6 .
TABLE 6. 学生组-主要特征的描述性总结。
专题/学生小组 概况1:强阳性 概况2:不太积极
计量学 描述 Mean [0–1] 描述 Mean [0–1]
修订满意度 高的 0.81 适度的 0.62
在线考试满意度 高的 0.75 适度的 0.54
评估能力 适度的 0.64 低的 0.41
监考验收 非常高的 0.86 低的 0.59
在线考试焦虑 适度的 0.58 适度的 0.71
工作空间满意度 非常高的 0.91 适度的 0.71
与考试有关的 描述 价值 描述 价值
以往在线考试经历 很好 0.85 [0–1] 适度的 0.57 [0–1]
考试成绩 好的 73.83/100 适度的 66.88/100
人口和研究特征
年龄 老的 44.18岁 年轻的 39.04岁
性别 无差别 - 无差别 -
种族 无差别 - 无差别 -
宣布残疾 不大可能的 44.4% 更有可能 55.6%
学院 无差别 - 无差别 -
有水平的 更有可能 77.6% 不大可能的 26.6%
具有资格意图 无差别 - 无差别 -
技术
拥有带摄像头的设备 更有可能 73.6% 不大可能的 26.4%
拥有带麦克风的设备 更有可能 74.2% 不大可能的 25.8%
有宽带或4G质量的互联网连接 更有可能 72% 不大可能的 28%
互联网连接的可靠性或质量没有问题 更有可能 73.1% 不大可能的 26.9%
对建立和使用技术充满信心 无差别 - 无差别 -
对处理潜在技术困难的信心 无差别 - 无差别 -
个人情况
承担育儿责任 无差别 - 无差别 -
承担其他照顾责任 不大可能的 37.5% 更有可能 62.5%
就业受限 无差别 - 无差别 -
心理健康 不大可能的 30.8% 更有可能 69.2%
"我对考试充满信心,因为在我的职业生涯中,我是一名特许会计师,所以我似乎一生中除了考试什么都没做。
(R29,女性,白人,27,有水平,肠道,强阳性)
与"非常积极"的被调查者不同,"不太积极"的学生指出了使他们的复习不那么令人愉快的原因,这些原因可能与他们的学习没有直接关系。他们还解释说,对于任何类型的考试来说,拥有良好的考试体验都是很困难的,但是,这可能会使整体体验的压力更小,特别是当从舒适的工作环境开始工作时,如表所示。 6 .
'好吧,在个人层面上,它[修订]是[压力],因为我和一些工作混在一起,我想平衡一下,所以,时间是一点点,而不是一点点的,时间是一点点的。
(R30,男性,黑人,42,水平,fbl,不太阳性)
这是(网上考试)一种紧张的经历,但我认为在你自己的环境中,比在某个地方参加的更舒服,这样的压力更小。如果我不得不像在学校那样坐在一个大房间里,那会比我在自己的家里做这件事更焦虑和焦虑。
(R21,女性,白人,32,d,无水平,肠,不阳性)
与面对面的考试相比,"非常积极"的学生对网上考试的偏好进一步强调了工作空间的满意度。还提到了前往考试中心的概念和在一个不熟悉的地方参加考试的额外压力:
网上的事情更轻松了。当然,那是我的家。我很幸运,我住在一间安静的房子里。我理解,对于那些没有安静工作空间的人来说,这有多难。
(R9,女性,白人,50,一级,FSS,非常阳性)
"我会说,在自己家里舒适地进行考试,可能比匆匆忙忙地去一个不熟悉的地方要少些压力,你知道,[...]我不得不去某个地方参加考试,担心我会准时到,担心我会记住一切,担心我会去正确的房间,你知道,所有这些事情。
(R11,男性,白人,42,水平,茎,强阳性)
然而,"不太积极"的学生解释说,无论考试类型如何,他们仍然会感到压力,其中最重要的与在线考试焦虑有关的因素是所涉及的技术:
'(考试)无论以什么方式,它总是有压力。[...]我一定要做好准备。例如,在四个半小时的考试中,我对这项技术感到紧张,所以我有备份计划和备份计划。
(R3,女性,白人,47岁,无水平,茎,不太阳性)
最后,在"强烈肯定"和"不太肯定"学生对考试监考的反应之间存在着矛盾。这种"非常积极的"表现是对监考更有信心,讨论进一步的选择以及监考如何更有效。"不太积极"的学生似乎更怀疑监考会破坏他们的隐私。
"我想如果你真的想成为奥威尔式的人,天哪,你需要有摄像头,这样他们就能看着你……不是所有的时间,但是他们有机会通过摄像头看你,我想这就是办法,你不能错了。"
( R4,男性,白人,69,水平,fbl,强阳性)
"对我来说,阻止浏览器对我来说是件坏事,因为对我来说,这是对学生的一种控制,而对我来说,这并不是一件好事,因为这是公民权利和所有的东西,但我认为,用一个中庸的角度,它不一定是"。
(R20,男性,白人,44,d,水平,茎,不太阳性)
3.2.2学生团体相对于人口和特征
独立人士 t -测试显示,与"不太积极"的学生相比,"非常积极"的学生更有可能在网上考试中有更好的体验( χ 2 [1, N = 183] = 11.40, P < 0.001). Further, the ‘strongly positive’ ( M = 73.83, 标准数据集 =19.74),与"不太阳性"相比( M = 66.88, 标准数据集 =19.74)表现有较好的考试成绩( t [117.46] = 2.34, P = 0.02).
3.3人口和背景特征
这些测试进一步显示了这两个群体的人口和特征之间的差异。相对于"不太积极"而言,"非常积极"的残疾人较少被宣布为残疾( χ 2 [1, N = 183] = 8.80, P =0.003)及更可能有水平( χ 2 [1, N = 183] = 7.66, P = 0.006). The former group ( M = 44.18, 标准数据集 =13.96)与后者相比( M = 39.04, 标准数据集 =13.98)较可能年龄较大( t [108.11] = 2.31, P =0.02)不同性别、种族、学历及教职员之间无差异, χ 2 (1, N = 183) = 0.86, P > 0.05, χ 2 (1, N = 183) = 1.85, P > 0.05, χ 2 (1, N = 183) = 1.30, P 0.05和0.05 χ 2 (2, N = 171) = 2.98, P > 0.05, respectively.
参加访谈的学生承认,对有流动性问题的学生来说,参加在线考试会更容易,但也强调了设计在线考试考虑到有额外需求和责任的学生的重要性:
"对于那些在考试大厅里挣扎的有行动障碍的人来说,这是更方便的。"
(R5,男性,白人,52,水平,D,肠,强阳性)
我认为使用通用的(在线考试)格式来表达他们的想法是可以的,但是他们应该更多地考虑那些确实有额外需求或残疾的学生。他们应该有一些单独的东西,这样可以防止他们的学习处于劣势…
(R21,女性,白人,22,没有水平,D,肠道,阳性)
3.4技术和工作空间
这些测试还揭示了这两组拥有的技术之间的差异。与"不太积极"相比,"非常积极"的人更有可能拥有带摄像头的笔记本电脑、台式电脑、平板电脑或智能手机( χ 2 [1, N = 183] = 12.66, P 或带着麦克风( χ 2 [1, N = 183] = 13.48, P 并拥有宽带或4G质量的互联网连接( χ 2 [1, N = 183] = 7.07, P =0.008)此外,测试显示出边缘差异,"非常肯定"的群体不大可能报告互联网连接的可靠性或质量是在线考试的障碍( χ 2 [1, N = 183] = 3.74, P =0.053)在建立和使用科技方面,有信心和无信心的学生并无差别( χ 2 [1, N = 183] = 0.15, P (0.05)或在学生中有信心或无信心处理评估过程中可能出现的技术困难( χ 2 [1, N = 183] = 0.52, P > 0.05).
受访者在考试中讨论了技术问题,这些问题可能会影响他们的压力水平和参加考试的能力。
""我无法控制。我可以控制我做了多少修改,或者我是否已经尽了最大的努力去理解工作,但是一些超出我控制范围的事情,比如技术,就是我所面临的。
(R14,女性,白人,58,级别,FSS,非常阳性)
但是在网上,我有了我的宽带;如果那天发生了超出我控制范围的问题,而且连接性很差,那会发生什么呢?那么,我会得到补偿吗,我会被要求重新坐上它吗?如果宽带稍后才开通,或者不开通呢?因此,这可能是大学必须向我们保证的事情,"如果你这样做,万一发生这种情况,你将得到这样的补偿"。如果把这些东西放好,一切都会好的,是的。
(R26,男性,黑人,54,水平,茎,强阳性)
3.5个人情况
最后,这两组人的个人情况有些不同。"非常阳性"的人不太可能有心理健康问题( χ 2 [1, N = 183] = 9.46, P =0.002)或照顾责任( χ 2 [1, N = 183] = 8.80, P =0.003)有照顾子女责任或就业限制的学生与没有工作限制的学生之间没有差别,这两个群体之间的差别是: χ 2 (1, N = 183) = 1.62, P 0.05和0.05 χ 2 (1, N = 183) = 1.55, P > 0.05, respectively.
在访谈中,学生解释了他们的家庭环境如何成为在家参加考试的促进者或障碍,指出了他们的工作空间和考试环境。
''在家里做(考试),因为我主要是在家工作,所以我有一间办公室。这当然是房子的一个区域,你知道,这里的一切都是我所知道的,我可以关上门,孩子们不会打扰我,也不会打扰我,不会打断我或者类似的事情。
(R11,男性,白人,42,水平,茎,强阳性)
"我的意思是,当我在网上考试的时候,我实际上是告诉我的家人离开家最多6个小时,然后他们离开家,去做不总是一件容易的事情"。
(R7,男性,白人,35,一级,fbl,不太阳性)
桌子 6 描述每个学生档案的主要特征.
4.讨论
本研究的主要目的是调查与远程学习大学生接受和满意在线考试过渡有关的因素和学生特点。
4.1网上考试因素之间的关系
我们探索学生的 修订满意度 , 在线考试满意度 , 评估能力 , 监考验收 , 焦虑 ,以及 工作空间满意度 .远程学习的学生在其工作空间中有一个整体的优秀体验,这可能与传统大学生的研究结果不一致。后者揭示了家庭环境、上网甚至拥有设备等方面的更多不准备。, 2020 ;埃尔沙龙等人。, 2020),而远距离学习的学生则倾向于为他们的在线学习活动安排自己的工作空间。然而,我们的访谈结果显示,即使在远程学习环境中,一些学生的现有环境和工作空间可能不适合参加考试,例如,在家有孩子的学生。
此外,与监考会使考试紧张和学生紧张的观念相反(崔等人)。, 2020),这项研究显示,网上考试的监考被接受的程度很高。然而,这一发现的原因可能是,这项研究的参与者在网上公开的书籍式考试中还没有经历过监考,因此还没有对具体的监考制度和相关过程形成强烈的意见。在线考试良好接受监考的另一个原因可能是他们在现场考试中目前的监考经验不同--他们在大流行病爆发前的典型考试模式。学生对在线考试监考的认可对在线考试系统的设计具有重要意义;提供评估质量保证的监考功能可以成为评估策略和实施的一部分,同时也可以确保学生的满意度。两者之间有(微弱的)正相关 监考验收 和 评估能力 表明后者可能有助于改善前者。这将为远距离教学设计开辟潜在的途径:学生在学习期间遇到类似于在线考试的在线评估的人数越多,他们对考试技术和如何回答具体的问题类型就越熟悉。应该鼓励这种利用评估来培养学生对考试成绩的信心的学习设计。
参与者报告了一些良好的复习和考试经验,在2020年和2021年,这些经验可能会再次与特定的非监考开放式考试格式联系起来。这个格式涵盖了一系列考试活动,从时间考试,这在以前的研究中是压力(诺维克等人)。, 2022 ),其他较少时间的活动,例如有七天提交窗口的论文。然而,复习和考试满意度指标之间的密切联系,加上我们的面试结果,解释了作为方案学习战略的一部分,结构化的复习和考试准备活动如何有助于提高学生的能力。 在线考试满意度.例如,参与者强调模拟和实践考试是如何为他们准备在线考试类型和降低他们的压力。
我们的研究结果还表明,远程学习的学生,像传统大学的学生一样。 2021 诺维克等人, 2022 ),经历严重的焦虑。解释可能有两个方面:第一,我们的定性数据指出了焦虑的领域,比如考试期间必须处理技术问题,以及如果考试发生的话,大学的作用和反应。第二,参与者报告说,任何考试都会给他们带来焦虑,这种焦虑并不是在线考试模式特有的。第二个解释也可以通过学生焦虑与学生对其评估能力的信心之间的(微弱的)消极联系来理解。两者之间的负联系 评估能力 和 焦虑 和 在线考试满意度 就是否需要更多与评估有关的学习技能活动(例如:,自我评估在他们学习过程的早期。
4.2在线考试学生简介
绘制学生对在线考试的态度图的主要目的是发现在设计在线考试活动和技术时,哪些方面可以得到支持或消除。这项研究的结果表明,已经确定了两个特征--超过三分之二(69%)的学生对在线考试"非常肯定",其余则对"不太肯定"。这个"非常积极"的形象包括:满意度更高,在线考试体验更好,焦虑程度更低。这两个群体之间最大的差别是: 评估能力 和 修订满意度 .
访谈结果丰富了学生的情况,提供了关于在线考试积极或"不太积极"的原因的信息。了解这些原因对于支持和设计在线考试至关重要。例如,"非常积极"的学生描述了如何通过模拟和实践考试使他们更加自信,而实际考试使他们的压力更小。据报告,一些学生通过其专业生涯,例如特许会计师证书,在外部出现了这种连续做法;然而,可以说,通过使学生在整个学习过程中熟悉在线考试要素(活动类型和技术),这种连续做法可以在默认情况下嵌入大学课程。
在这项研究中,"不太积极"的学生认为考试是有压力的;然而,他们的感知并非仅限于在线考试。另外,和以前的研究一样(巴亚尔和阿林坎, 2021 ),参与者仍然更喜欢在线考试,因为他们有自己舒适的空间。"不太积极"的学生还解释说,在考试中处理技术问题会增加他们的压力(如托普兹和金舒克所述)。 2021 ),但它主要与定时考试有关。这重复了以前的研究结果(诺维克等人)。, 2022 这突出了在线考试的设计和类型如何在学生的焦虑中发挥重要作用。及早与学生交流考试的范围和类型可能会有所帮助,测试在线考试所需的设备也是如此(例如:,用样本试卷练习上载答案)。"不太积极"的学生也评论说,特定的监考方式,比如封锁浏览器,可能会让人觉得是对隐私的侵犯。, 2020 ),强调有必要设计灵活的监考平台,根据课程、资格和质量保证要求提供具体功能。
与崔等人达成协议。( 2020 )和埃尔沙龙等人。( 2020 ),学生的人口统计、学生特征及个人情况在这两个方面有所不同。特别是,没有A级水平(因此考试经验可能较少)的学生和被宣布为残疾的学生更有可能对在线考试"不太积极"。访谈数据表明,有必要设计学生的特殊需求和残疾,以维持其学习中的公平。设计可能包括多样性和选择的学生在线考试界面,可以促进和提高他们的经验。例如,提供每个页面可以查看多少问题的选项,允许字体类型和颜色(卡里姆和舒库尔, 2016 ),或是否想看倒计时器(诺维克等人。, 2022 )。拥有良好的互联网连接和具有所需功能的设备是另一个激发了对在线考试的积极倾向的因素。然而,即使是"非常积极的"参与者也需要对流程有把握,在技术失败的情况下,谁将负责。有心理健康问题或照顾责任的学生也更不愿意参加在线考试,他们再次指出设计灵活的在线考试系统以确保公平。面试数据还强调了具有适当考试环境的问题。
缺乏适合学生的环境(例如:、互联网连接不可靠)和情况(例如:,在家里的孩子),可能需要为有需要的人建立一些特殊的亲身考试。
4.3限制
虽然这项研究的样本代表了大学的人口统计,但必须谨慎地解释研究结果。这项研究只调查了有在线考试经历的学生的接受程度和满意程度,因此,我们的抽样规模有限,包括了少数自选参加考试的学生。因此,调查结果可能无法充分反映那些没有期末考试的学校和课程的学生、那些尚未参加网上考试的学生或那些有意选择不参加课程考试的学生的偏好和经历。
我们的研究侧重于远程学习学生在线考试的整体体验,寻求了解可能与这个模型的在线和远程方面相关的因素、学生特征和个人环境。需要进行进一步的研究,考虑到特定类型的在线考试,以便进一步了解不同的设计会如何影响学生的体验和接受程度。
5.结论
这项研究提高了我们对远程学习学生体验和在线考试期望的理解,为当前在线评估文献增添了新的知识。我们的研究强调了学生准备的重要性,这可以减少考试和科技焦虑。通过早期交流考试所需的软件和硬件、经常测试考试设备和练习考试,学生可以在整个学习过程中做好准备。通过在学生的整个学习过程中建立评估能力,例如自我评估他们的工作或熟悉不同的考试活动,也可以提高学生对参加在线考试或任何其他考试的信心。
远距离学习的学生经验可与传统的大学生在许多层次上相媲美,包括对某些类型的考试感到紧张、提交窗口、监考选项、技术问题和拥有合适的设备。远程学习的学生展示了他们对工作的自信和满意,然而这项研究揭示了在设计包容性在线考试时需要考虑的学生特征和个人情况。例如,通过支持残疾学生的其他形式,并为那些没有合适环境或其他无法缓解需求的学生组织特殊的亲临考试,增加无障碍环境。
我们的见解有助于未来设计远程学习环境中的评估,包括考试。监委会报告( 2020 )强调"以学生为中心、个性化"评估的必要性,这种评估可以"在任何地方"进行,而不是与体检大厅或大学建筑挂钩。最近,未来评估和反馈的案例包括两项相关原则:让学员参与每项任务的要求和业绩标准,以无障碍、包容和同情的方式支持学员的个性化需求(监委会, 2022 )。这项研究为大学提供了指导,以解决积极倾向于在线考试的学生的关切,并帮助那些不那么积极倾向于发展评估能力和考试成功信心的学生。
考虑到参与者的一些意见和本文提出的建议,考试设计就成为一个不仅是评估学习成果的问题,也是如何使学生做好准备进行这种评估,作为大学教学设计的一个组成部分。如果今后的学习确实成为混合的话,这将不仅影响目前的远程教育学生,而且影响整个高等教育部门的学生。