《程序作业成绩信息理解研究》

本研究旨在了解学生如何理解程序作业成绩信息及其可能用途。

问卷中将呈现若干假设性的程序作业成绩情境,请您仅根据页面提供的信息独立作答。

参与本研究完全自愿,您可以随时退出,不会影响您的课程成绩或其他权益。

本问卷不收集姓名、学号、手机号、邮箱等能够直接识别个人身份的信息。所收集的数据仅用于学术研究,并以汇总形式进行分析和报告。

如您继续填写,即表示您已经阅读并理解上述说明。
1. 请选择研究者告知你的问卷组别:

请记住你的分组

后续所有问题都需要正常作答,但请根据你的分组阅读相应的材料:

A组:只阅读标有 【A/B/C组阅读】 的内容。
B组:阅读标有 【A/B/C组阅读】【B/C组阅读】 的内容

C组:阅读全部内容,包括 【A/B/C组阅读】、【B/C组阅读】和【C组阅读】

请在后续作答过程中始终按照自己的分组阅读材料。

2. 你是否已满18周岁?
3. 你目前是否为本科生?
4.

你的专业或主要学习方向是否与计算机、软件或信息技术相关?

5. 你是否至少完成过一门程序设计课程并接触过程序作业评分?
接下来,每个问题都会请你判断:

仅根据当前页面提供的信息,这些证据是否足以支持某一种用途?

请选择 0、1 或 2:

0|不支持
现在的证据不够,而且在作出决定前也无法获得足够的补充证据;或者这些证据本身并不适合这个用途。

1|有条件支持
现在的证据还不够,但在作出决定前,可以获得足够而且合适的补充证据。

2|支持
现在的证据已经足够,不需要再补充关键证据。

请注意:这里只判断“证据够不够”,不是判断你个人是否赞成这个决定。

练习:

下面是一道练习题,不计入研究结果。请按照上一页的 0、1、2 规则作答。

6.

老师需要确认一份程序作业是否按时提交。现在只能看到作业文件本身,看不到提交时间;但在作出决定前,可以查看课程平台保存的提交时间记录。

仅根据当前提供的信息,这些证据是否足以支持“判断这份作业是否按时提交”?

练习答案:1|有条件支持


现在看到的作业文件本身还不能说明提交时间,所以当前证据还不够。
但是,在作出决定前可以查看课程平台的提交时间记录,而这个记录能够直接补充缺少的信息。

因此,这种情况属于:现在还不够,但可以在决定前补充到足够的证据。


接下来的正式问题也请按照同样的方法判断:

只看当前提供的证据够不够,以及决定前还能不能获得足够的补充证据。

正式作答

接下来,你将看到 3个程序作业成绩情境

每个情境都会提供一份成绩报告,并提出 3个具体用途

请仅根据当前页面提供的信息,判断这些成绩信息是否足以支持相应用途,并按照前面的 0、1、2 规则作答。


请判断“证据是否足够”,不要根据个人是否赞成这个决定来回答。

各个情境彼此独立,请分别判断。

【A/B/C组阅读】

程序作业成绩情境:字符串规范化任务

某程序设计课程安排了“字符串规范化任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。

两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。

以下为研究中构造的假设性课程数据,不是真实学生成绩。


初始独立作品
30份作品,平均分65.0,中位数65.0,70分及以上13份(43.3%)。
分数分布:
0–59分:12份
60–69分:5份
70–79分:5份
80–89分:5份
90–100分:3份

生成式AI辅助修订作品


30份作品,平均分65.0,中位数65.2,70分及以上12份(40.0%)。
分数分布:
0–59分:13份
60–69分:5份
70–79分:4份
80–89分:5份

90–100分:3份

【B/C组阅读】


成绩结构信息


初始独立作品和生成式AI辅助修订作品中,不同分值的数量均为30个,两种情况下均没有同分作品。

两次成绩的整体排序高度一致:Spearman等级相关为1.00,Kendall tau-b为1.00,即两次条件下作品的先后次序完全一致。

两次条件下前6名作品完全相同,前6名重合率为100%。

本情境事先规定:只有两份作品的分数相差超过2分时,才认为这一差异足以用于区分先后;相差2分及以内时,不据此强行排出先后。

【C组阅读】


成绩使用提示


当前成绩首先反映的是作品在现有评分规则和测试范围内的表现。

如果要把独立完成条件和生成式AI辅助条件下的分数视为含义相同、可以互换或直接合并使用,还需要通过共同锚点、平行任务或评分校准等证据将两种条件联系起来,并确认这种解释在两种条件下是否稳定。

如果要进一步判断学生本人的独立能力、稳定表现或迁移表现,还需要与这些判断直接相关的其他证据。

以下两题(1,2)的决策背景:
课程教师需要在3个工作日内作出决定。当前可以使用页面中给出的成绩、评分规则和测试范围等信息;在作出决定前,暂时不能再获得新的补充证据。决定作出后仍可以调整。
7. 第1题:作品表现描述:
仅根据当前报告提供的信息,这些成绩是否足以支持:描述这些作品在当前任务、当前评分规则和测试范围内的表现?
8. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
9. 第2题:精细排序:
仅根据当前报告提供的信息,这些成绩是否足以支持:按照本情境规定的“分差超过2分才区分先后”的规则,对学生在本次作业中的表现进行精细排序?
10. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
下面一题(3)的决策背景:
课程评价小组将在4周后作出决定。目前可以看到两种条件下的成绩及其结构信息,但两种成绩之间还没有建立共同的参照或校准关系。在作出决定前,还可以补充相关证据。
11. 第3题:跨AI条件等义使用:
仅根据当前报告提供的信息,这些成绩是否足以支持:把初始独立完成和生成式AI辅助修订条件下的同名分数视为含义相同,可以相互替代或直接合并使用?
12. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)

【A/B/C组阅读】


程序作业成绩情境:记录排序任务


某程序设计课程安排了“记录排序任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。
以下为研究中构造的假设性课程数据,不是真实学生成绩。


初始独立作品

30份作品,平均分59.0,中位数59.0,70分及以上10份(33.3%)。
分数分布:
0–59分:15份
60–69分:5份
70–79分:5份
80–89分:5份
90–100分:0份


生成式AI辅助修订作品

30份作品,平均分67.0,中位数67.0,70分及以上14份(46.7%)。
分数分布:
0–59分:11份
60–69分:5份
70–79分:5份
80–89分:5份
90–100分:4份

【B/C组阅读】


成绩结构信息


初始作品和生成式AI辅助修订作品中,都有30个不同分值,没有同分作品。

两次成绩的整体排序几乎一致:Spearman等级相关为0.9996,Kendall tau-b为0.9954。数值越接近1,表示两次条件下作品的先后次序越接近。

两次条件下前6名作品完全相同,前6名重合率为100%。

本情境事先规定:只有两份作品的分数相差超过2分时,才认为这一差异足以用于区分先后;相差2分及以内时,不据此强行排出先后。

【C组阅读】

成绩使用提示

当前成绩首先反映作品在现有评分规则和测试范围内的表现。

如果要把独立完成条件和生成式AI辅助条件下的分数视为含义相同、可以互换或直接合并使用,还需要通过共同参照、平行任务或评分校准等证据把两种条件联系起来,并确认这种解释在两种条件下是否稳定。

如果要进一步判断学生本人的独立能力、稳定表现或迁移表现,还需要与这些判断直接相关的其他证据。
以下两题(1,2)的决策背景:
课程教师需要在3个工作日内作出决定。当前可以使用页面中给出的成绩、评分规则和测试范围等信息;在作出决定前,暂时不能再获得新的补充证据。决定作出后仍可以调整。
13. 第一题:

仅根据当前报告提供的信息,这些成绩是否足以支持:描述这些作品在当前任务、当前评分规则和测试范围内的表现?
14. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
15. 第二题:

仅根据当前报告提供的信息,这些成绩是否足以支持:把本次作品划分为少量较宽的表现组别,并且不把同分作品强行分到不同组?
16. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
下面一题(3)的决策背景:
课程评价小组将在4周后作出决定。目前可以看到两种条件下的成绩及其结构信息,但两种成绩之间还没有建立共同的参照或校准关系。在作出决定前,还可以补充相关证据。
17. 第三题:

仅根据当前报告提供的信息,这些成绩是否足以支持:把初始独立完成和生成式AI辅助修订条件下的同名分数视为含义相同,可以相互替代或直接合并使用?
18. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
【A/B/C组阅读】

某程序设计课程安排了“搜索与索引任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。

以下为研究中构造的假设性课程数据,不是真实学生成绩。

初始独立作品
30份作品,平均分69.0,中位数69.0,70分及以上15份(50.0%)。
分数分布:
0–59分:10份
60–69分:5份
70–79分:5份
80–89分:5份
90–100分:5份

生成式AI辅助修订作品
30份作品,平均分70.5,中位数70.0,70分及以上15份(50.0%)。
分数分布:
0–59分:6份
60–69分:9份
70–79分:8份
80–89分:3份
90–100分:4份
【B/C组阅读】

成绩结构信息

初始作品共有30个不同分数,生成式AI辅助修订后只剩18个不同分数。

在生成式AI辅助条件下,有16份作品分别与至少一份其他作品同分,这些同分主要出现在 64–76分 区间。

前6名的分界分数为 85.0分,没有同分组跨越这一边界。

本情境事先规定:只有两份作品的分数相差 超过3分 时,才认为这一差异足以用于区分;相差3分及以内时,不据此强行区分。
【C组阅读】

成绩使用提示

当前成绩首先反映评分规则和测试范围所覆盖的作品表现。

如果要把独立完成和生成式AI辅助条件下的分数视为含义相同、可以互换或直接合并使用,还需要共同参照、平行任务或评分校准等证据,将两种条件联系起来并确认这种解释是否稳定。

如果要进一步判断学生本人的独立能力、稳定表现或迁移表现,还需要与这些判断直接相关的其他证据。
下面一题(1)请基于这个决策背景作答:

课程教师需要在 3个工作日内 作出决定。当前可以使用页面中给出的作品成绩、评分规则、测试范围和已经规定好的判断规则;在作出决定前,不能再获得新的补充证据。决定作出后仍可以调整。
19. 第一题:
仅根据当前报告提供的信息,这些证据是否足以支持:描述作品在当前任务、评分规则和测试范围内的表现?
20. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)

以下两题(2,3)请基于这个决策背景作答:

课程教师和助教需要在 7个工作日内 作出决定。当前可以使用页面中提供的成绩和成绩结构信息;在作出决定前,还可以取得与当前用途缺少的证据相匹配的补充信息。决定在规定截止时间前仍可以调整。

21. 第二题:
仅根据当前报告提供的信息,这些证据是否足以支持:判断作品是否达到事先规定的课程达标线?
22. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
23. 第三题:
仅根据当前报告提供的信息,这些证据是否足以支持:把本次作品划分为少量、较宽的表现组别,并且不把同分作品强行分到不同组?
24. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
下一部分

前面的作答已经完成。
接下来你会看到 3个新的程序作业成绩情境。
请继续按照前面的 0、1、2 规则,仅根据当前页面提供的信息进行判断。
情境与成绩信息

程序作业成绩情境:数组去重任务

某程序设计课程安排了“数组去重任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。

以下为研究中构造的假设性课程数据,不是真实学生成绩。

初始独立作品
30份作品,平均分66.0,中位数66.0,70分及以上13份(43.3%)。
分数分布:
0–59分:12份
60–69分:5份
70–79分:5份
80–89分:5份
90–100分:3份

生成式AI辅助修订作品
30份作品,平均分66.0,中位数66.0,70分及以上13份(43.3%)。
分数分布:
0–59分:12份
60–69分:5份
70–79分:5份
80–89分:5份
90–100分:3份

成绩结构信息

初始作品和生成式AI辅助修订作品中,都有30个不同分值,没有同分作品。

两次成绩的整体排序完全一致:Spearman等级相关为1.00,Kendall tau-b为1.00。数值为1表示两次条件下作品的先后次序完全一致。

两次条件下前6名作品完全相同,前6名重合率为100%。

本情境事先规定:只有两份作品的分数相差超过2分时,才认为这一差异足以用于区分先后;相差2分及以内时,不据此强行排出先后。

以下两题(1,2)请基于这个决策背景作答:

课程教师需要在3个工作日内作出决定。当前可以使用页面中给出的成绩、评分规则、测试范围和已经规定好的判断规则;在作出决定前,不能再获得新的补充证据。决定作出后仍可以调整。

25. 第一题:
仅根据当前报告提供的信息,这些证据是否足以支持:描述这些作品在当前任务、当前评分规则和测试范围内的表现?
26. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
27. 第二题:
仅根据当前报告提供的信息,这些证据是否足以支持:按照本情境规定的规则,对本次作业表现排出允许并列的精细先后次序?
28. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)

下面一题(3)请基于这个决策背景作答:

课程评价小组将在4周后作出决定。目前可以看到两种条件下的成绩及其结构信息,但两种成绩之间还没有建立共同的参照或校准关系。在作出决定前,还可以补充相关证据。

29. 第三题:
仅根据当前报告提供的信息,这些证据是否足以支持:把初始独立完成和生成式AI辅助修订条件下的同名分数视为含义相同,可以相互替代或直接合并使用?
30. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
程序作业成绩情境——频率统计任务

某程序设计课程安排了“频率统计任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。

以下为研究中构造的假设性课程数据,不是真实学生成绩。

初始独立作品
30份作品,平均分60.0,中位数60.0,70分及以上10份(33.3%)。
分数分布:
0–59分:15份
60–69分:5份
70–79分:5份
80–89分:5份> 分数分布:
0–59分:15份
60–69分:5份
70–
90–100分:0份

生成式AI辅助修订作品
30份作品,平均分68.0,中位数68.0,70分及以上14份(46.7%)。
分数分布:
0–59分:11份
60–69分:5份
70–79分:5份
80–89分:5份
90–100分:4份

成绩结构信息

初始作品和生成式AI辅助修订作品中,都有30个不同分值,没有同分作品。

两次成绩的整体排序几乎一致:Spearman等级相关为 0.9996,Kendall tau-b为 0.9954。数值越接近1,表示两次条件下作品的先后次序越接近。

两次条件下前6名作品完全相同,前6名重合率为 100%

本情境事先规定:只有两份作品的分数相差 超过2分 时,才认为这一差异足以用于区分与当前正式Q1RC中的S2-Y数据一致。

以下两题(1,2)请基于这个决策背景作答:


课程教师需要在 3个工作日内 作出决定。当前可以使用页面中给出的成绩、评分规则、测试范围和已经规定好的判断规则;在作出决定前,不能再获得新的补充证据。决定作出后仍可以调整。

31. 第一题:
仅根据当前报告提供的信息,这些证据是否足以支持:描述这些作品在当前任务、当前评分规则和测试范围内的表现?
32. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
33. 第二题:
仅根据当前报告提供的信息,这些证据是否足以支持:把本次作品划分为少量、较宽的表现组别,并且不把同分作品强行分到不同组?
34. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)

下面一题(3)请基于这个决策背景作答:


课程评价小组将在 4周后 作出决定。目前可以看到两种条件下的成绩及其结构信息,但两种成绩之间还没有建立共同的参照或校准关系。在作出决定前,还可以获得与当前问题相匹配的补充证据。

35. 第三题:
仅根据当前报告提供的信息,这些证据是否足以支持:把初始独立完成和生成式AI辅助修订条件下的同名分数视为含义相同,可以相互替代或直接合并使用?
36. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
程序作业成绩情境——栈表达式处理任务

某程序设计课程安排了“栈表达式处理任务”。30名学生先独立完成初始作品,随后在统一的生成式AI使用规则下修订同一作品。两次作品使用相同的任务要求、评分规则和测试范围,每名学生的两次作品一一对应。

以下为研究中构造的假设性课程数据,不是真实学生成绩。

初始独立作品
30份作品,平均分70.0,中位数70.0,70分及以上15份(50.0%)。
分数分布:
0–59分:10份
60–69分:5份
70–79分:5份
80–89分:5份
90–100分:5份

生成式AI辅助修订作品
30份作品,平均分71.5,中位数71.0,70分及以上15份(50.0%)。
分数分布:
0–59分:6份
60–69分:9份
70–79分:8份
80–89分:3份
90–100分:4份

成绩结构信息

初始作品共有30个不同分数;生成式AI辅助修订后,只剩18个不同分数。

在生成式AI辅助条件下,有16份作品分别与至少一份其他作品同分,这些同分组的分数分布在 65–77分 区间。

前6名的分界分数为 86.0分,没有同分组跨越这一边界。

本情境事先规定:只有两份作品的分数相差 超过3分 时,才认为这一差异足以用于区分;相差3分及以内时,不据此强行区分。

下面一题(1)请基于这个决策背景作答:

课程教师需要在3个工作日内作出决定。当前可以使用页面中给出的成绩、评分规则、测试范围和已经规定好的判断规则;在作出决定前,不能再获得新的补充证据。决定作出后仍可以调整。

37. 第一题:
仅根据当前报告提供的信息,这些证据是否足以支持:描述作品在当前任务、当前评分规则和测试范围内的表现?
38. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)

以下两题(2,3)请基于这个决策背景作答:

课程教师和助教需要在7个工作日内作出决定。当前可以使用页面中提供的成绩和成绩结构信息;在作出决定前,还可以获得与当前用途缺少的证据相匹配的补充信息。决定在规定截止时间前仍可以调整。

39. 第二题:
仅根据当前报告提供的信息,这些证据是否足以支持:判断作品是否达到事先规定的课程达标线?
40. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
41. 第三题:
仅根据当前报告提供的信息,这些证据是否足以支持:把本次作品划分为少量、较宽的表现组别,并且不把同分作品强行分到不同组?
42. 如果你选择了“1|有条件支持”,你认为还需要哪些补充信息或证据?(可多选)
成绩理解

下面两题请根据你刚才完成问卷后的整体理解作答。
43. 第一题:成绩直接描述什么
这些程序作业成绩最直接描述的是哪一对象?
44. 第二题:学习者层推断
仅凭当前生成式AI辅助终稿成绩,对学生无AI条件下的独立能力作出结论时,你认为证据支持程度是?
45. 请根据你刚才的整体作答体验,判断你对下面说法的同意程度。
  • 1|非常不同意
  • 2|比较不同意
  • 3|一般
  • 4|比较同意
  • 5|非常同意
1.这类成绩报告的信息清晰、容易理解。
2.这类成绩报告让我清楚知道成绩所依据的信息以及它能说明什么。
3.我认为这类成绩报告用于课程评价是公平的。
4.我愿意信任这类成绩报告所提供的成绩信息。
5.如果课程采用这类成绩报告,我愿意接受它作为成绩反馈的一部分。
46. 在前面的判断中,你主要参考了哪些方面的信息?
可多选,请选择最主要的1—3项。
感谢您的参与!
您的作答已经完成,感谢您认真阅读并完成本次研究问卷。
更多问卷 复制此问卷