后续所有问题都需要正常作答,但请根据你的分组阅读相应的材料:
A组:只阅读标有 【A/B/C组阅读】 的内容。B组:阅读标有 【A/B/C组阅读】 和 【B/C组阅读】 的内容
C组:阅读全部内容,包括 【A/B/C组阅读】、【B/C组阅读】和【C组阅读】。
请在后续作答过程中始终按照自己的分组阅读材料。
你的专业或主要学习方向是否与计算机、软件或信息技术相关?
练习:
下面是一道练习题,不计入研究结果。请按照上一页的 0、1、2 规则作答。
老师需要确认一份程序作业是否按时提交。现在只能看到作业文件本身,看不到提交时间;但在作出决定前,可以查看课程平台保存的提交时间记录。
仅根据当前提供的信息,这些证据是否足以支持“判断这份作业是否按时提交”?
练习答案:1|有条件支持
现在看到的作业文件本身还不能说明提交时间,所以当前证据还不够。 但是,在作出决定前可以查看课程平台的提交时间记录,而这个记录能够直接补充缺少的信息。
因此,这种情况属于:现在还不够,但可以在决定前补充到足够的证据。
接下来的正式问题也请按照同样的方法判断:
只看当前提供的证据够不够,以及决定前还能不能获得足够的补充证据。
接下来,你将看到 3个程序作业成绩情境。
每个情境都会提供一份成绩报告,并提出 3个具体用途。
请仅根据当前页面提供的信息,判断这些成绩信息是否足以支持相应用途,并按照前面的 0、1、2 规则作答。
请判断“证据是否足够”,不要根据个人是否赞成这个决定来回答。
各个情境彼此独立,请分别判断。
某程序设计课程安排了“字符串规范化任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。
两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。
以下为研究中构造的假设性课程数据,不是真实学生成绩。
初始独立作品 30份作品,平均分65.0,中位数65.0,70分及以上13份(43.3%)。 分数分布: 0–59分:12份 60–69分:5份 70–79分:5份 80–89分:5份 90–100分:3份
生成式AI辅助修订作品
30份作品,平均分65.0,中位数65.2,70分及以上12份(40.0%)。 分数分布: 0–59分:13份 60–69分:5份 70–79分:4份 80–89分:5份
【B/C组阅读】
成绩结构信息
初始独立作品和生成式AI辅助修订作品中,不同分值的数量均为30个,两种情况下均没有同分作品。
两次成绩的整体排序高度一致:Spearman等级相关为1.00,Kendall tau-b为1.00,即两次条件下作品的先后次序完全一致。
两次条件下前6名作品完全相同,前6名重合率为100%。
本情境事先规定:只有两份作品的分数相差超过2分时,才认为这一差异足以用于区分先后;相差2分及以内时,不据此强行排出先后。
【C组阅读】
成绩使用提示
当前成绩首先反映的是作品在现有评分规则和测试范围内的表现。
如果要把独立完成条件和生成式AI辅助条件下的分数视为含义相同、可以互换或直接合并使用,还需要通过共同锚点、平行任务或评分校准等证据将两种条件联系起来,并确认这种解释在两种条件下是否稳定。
如果要进一步判断学生本人的独立能力、稳定表现或迁移表现,还需要与这些判断直接相关的其他证据。
【A/B/C组阅读】
程序作业成绩情境:记录排序任务
某程序设计课程安排了“记录排序任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。 以下为研究中构造的假设性课程数据,不是真实学生成绩。
初始独立作品
30份作品,平均分59.0,中位数59.0,70分及以上10份(33.3%)。 分数分布: 0–59分:15份 60–69分:5份 70–79分:5份 80–89分:5份 90–100分:0份
30份作品,平均分67.0,中位数67.0,70分及以上14份(46.7%)。 分数分布: 0–59分:11份 60–69分:5份 70–79分:5份 80–89分:5份 90–100分:4份
初始作品和生成式AI辅助修订作品中,都有30个不同分值,没有同分作品。
两次成绩的整体排序几乎一致:Spearman等级相关为0.9996,Kendall tau-b为0.9954。数值越接近1,表示两次条件下作品的先后次序越接近。
以下两题(2,3)请基于这个决策背景作答:
课程教师和助教需要在 7个工作日内 作出决定。当前可以使用页面中提供的成绩和成绩结构信息;在作出决定前,还可以取得与当前用途缺少的证据相匹配的补充信息。决定在规定截止时间前仍可以调整。
两次成绩的整体排序完全一致:Spearman等级相关为1.00,Kendall tau-b为1.00。数值为1表示两次条件下作品的先后次序完全一致。
以下两题(1,2)请基于这个决策背景作答:
课程教师需要在3个工作日内作出决定。当前可以使用页面中给出的成绩、评分规则、测试范围和已经规定好的判断规则;在作出决定前,不能再获得新的补充证据。决定作出后仍可以调整。
下面一题(3)请基于这个决策背景作答:
课程评价小组将在4周后作出决定。目前可以看到两种条件下的成绩及其结构信息,但两种成绩之间还没有建立共同的参照或校准关系。在作出决定前,还可以补充相关证据。
某程序设计课程安排了“频率统计任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。
初始独立作品 30份作品,平均分60.0,中位数60.0,70分及以上10份(33.3%)。 分数分布: 0–59分:15份 60–69分:5份 70–79分:5份 80–89分:5份> 分数分布: 0–59分:15份 60–69分:5份 70– 90–100分:0份
生成式AI辅助修订作品 30份作品,平均分68.0,中位数68.0,70分及以上14份(46.7%)。 分数分布: 0–59分:11份 60–69分:5份 70–79分:5份 80–89分:5份 90–100分:4份
两次成绩的整体排序几乎一致:Spearman等级相关为 0.9996,Kendall tau-b为 0.9954。数值越接近1,表示两次条件下作品的先后次序越接近。
两次条件下前6名作品完全相同,前6名重合率为 100%。
本情境事先规定:只有两份作品的分数相差 超过2分 时,才认为这一差异足以用于区分与当前正式Q1RC中的S2-Y数据一致。
课程教师需要在 3个工作日内 作出决定。当前可以使用页面中给出的成绩、评分规则、测试范围和已经规定好的判断规则;在作出决定前,不能再获得新的补充证据。决定作出后仍可以调整。
下面一题(3)请基于这个决策背景作答:
课程评价小组将在 4周后 作出决定。目前可以看到两种条件下的成绩及其结构信息,但两种成绩之间还没有建立共同的参照或校准关系。在作出决定前,还可以获得与当前问题相匹配的补充证据。
某程序设计课程安排了“栈表达式处理任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。
初始独立作品 30份作品,平均分70.0,中位数70.0,70分及以上15份(50.0%)。 分数分布: 0–59分:10份 60–69分:5份 70–79分:5份 80–89分:5份 90–100分:5份
生成式AI辅助修订作品 30份作品,平均分71.5,中位数71.0,70分及以上15份(50.0%)。 分数分布: 0–59分:6份 60–69分:9份 70–79分:8份 80–89分:3份 90–100分:4份
初始作品共有30个不同分数;生成式AI辅助修订后,只剩18个不同分数。
在生成式AI辅助条件下,有16份作品分别与至少一份其他作品同分,这些同分组的分数分布在 65–77分 区间。
前6名的分界分数为 86.0分,没有同分组跨越这一边界。
本情境事先规定:只有两份作品的分数相差 超过3分 时,才认为这一差异足以用于区分;相差3分及以内时,不据此强行区分。
下面一题(1)请基于这个决策背景作答:
课程教师和助教需要在7个工作日内作出决定。当前可以使用页面中提供的成绩和成绩结构信息;在作出决定前,还可以获得与当前用途缺少的证据相匹配的补充信息。决定在规定截止时间前仍可以调整。