关于生成式 AI 错误经历与大学生后续答案验证行为的调查问卷

亲爱的参与者:您好！非常感谢您在百忙之中参与本次调查。我们正在开展一项关于生成式 AI 错误经历与大学生后续答案验证行为的学术研究，旨在了解本科生在遇到生成式 AI 错误、不准确或误导性答案之后，如何判断后续 AI 输出，以及是否会进一步采取查找、比较和核验等验证行为。本问卷预计占用您约 8–10 分钟。若您符合后续参与条件，后续题目将请您回想过去 3 个月内最近一次明确发现生成式 AI 提供错误、不准确或误导性答案的真实经历，并围绕该次经历及其后的 AI 使用情况作答。题目没有标准答案，请根据您的真实经历和实际感受选择最符合的选项。本问卷采用匿名方式，不收集姓名、联系方式、学校名称等能够直接识别个人身份的信息。所收集的数据仅用于学术研究与相关成果发表，不涉及商业用途;研究结果可能以学位论文、学术论文或学术报告等形式公开，但不会披露能够识别您个人身份的信息。衷心感谢您的支持与配合！
第一部分:知情同意与参与资格确认
1. 我已认真阅读并理解上述研究说明，了解本研究的目的、主要内容及参与方式。 
2. 我知晓参加本研究完全出于自愿，可选择不参加，并可在正式提交问卷前随时停止作答，不会因此受到任何不利影响。 
3. 我知晓本问卷采用匿名方式收集数据，研究结果可能用于学位论文、学术论文或学术报告，但不会披露能够识别我个人身份的信息。 

请确认您的参与意愿:
4. 您是否已年满 18 周岁?
5. 您目前是否为中国大陆高校在读本科生?
6. 过去 3 个月内，您是否曾使用生成式 AI 完成至少一次学习、课程或研究相关任务?
7. 过去 3 个月内，您是否曾明确发现至少一次生成式 AI 提供错误、不准确或误导性答案?
8. 在最近一次明确发现上述错误之后，您是否至少再次使用过一次生成式 AI 完成学习、课程或研究相关任务?
第二部分:基本个人信息
1. 您的性别?
2. 您的年龄（周岁）:
3. 您目前就读本科几年级?
4. 您目前所学专业主要属于以下哪一类?
第三部分:生成式 AI 使用情况
1. 您使用生成式 AI 辅助学习或完成学业任务大约已有多长时间?
2. 最近 3 个月，您使用生成式 AI 辅助学习或完成学业任务的频率大约是?
3. 您过去 3 个月使用过哪些生成式 AI 工具?（可多选）
4. 您通常使用生成式 AI 完成哪些学习或研究任务?（可多选）
第四部分:最近一次生成式 AI 错误经历——请回想过去 3 个月中，最近一次您明确发现生成式 AI 提供了错误、不准确或误导性答案的真实经历。这里的“错误”可以包括事实错误、虚构信息或来源、计算错误、代码错误、逻辑或推理错误、错误解释、过时信息等。接下来的相关研究变量测量题项均请以这一次具体经历为事件锚点，而不是根据您对 AI 的一般印象作答。
1. 在这次经历中，您主要使用了哪一种生成式 AI 工具?
2. 这次错误经历距现在大约多久?
3. 这次经历主要涉及哪类学习或研究任务?
4. 这次 AI 错误主要属于哪一类?（可多选）
5. 您最初是如何发现这次 AI 答案存在问题的?
第五部分:相关研究变量测量——请根据刚才回忆的那次生成式 AI 错误经历以及此后使用生成式 AI 时的真实情况作答。不同量表的作答说明略有不同，请注意各小节中的具体说明。
1．感知错误严重性（Perceived Error Severity, PES）——请根据上述那一次生成式 AI 错误经历判断下列描述与您的实际感受相符程度。
  • 非常不同意（1）
  • 不同意（2）
  • 一般（3）
  • 同意（4）
  • 非常同意（5）
PES1 我认为这次生成式 AI 错误是比较严重的。
PES2 这次错误可能对我当时的学习或任务结果产生较大影响。
PES3 如果没有发现这次错误，它可能造成明显的不良后果。
PES4 如果没有被纠正，这次错误会明显降低我当时学习或任务结果的准确性。
2．认知警惕（Epistemic Vigilance, EV）——在上述生成式 AI 错误经历之后，当您再次使用生成式 AI 时，请根据自己的实际情况作答。
  • 非常不同意（1）
  • 不同意（2）
  • 一般（3）
  • 同意（4）
  • 非常同意（5）
EV1 我会谨慎判断 AI 提供的答案是否可信。
EV2 即使 AI 的答案看起来很合理，我也不会立即认为它是正确的。
EV3 即使 AI 给出了明确的结论，我仍会保留自己的判断。
EV4 我会留意 AI 答案中可能存在的不准确、不完整或不一致之处。
EV5 我不会因为 AI 的回答表达流畅、逻辑连贯，就认为其中的信息一定可靠。
EV6 在依赖 AI 提供的重要信息之前，我会先考虑其中存在错误的可能性。
3．验证自我效能（Verification Self-Efficacy, VSE）——以下问题不是询问您实际上是否进行了验证，而是询问当需要判断生成式 AI 答案是否准确时，您认为自己是否具备完成这些验证任务的能力。
  • 非常不同意（1）
  • 不同意（2）
  • 一般（3）
  • 同意（4）
  • 非常同意（5）
VSE1 我有信心识别出 AI 答案中值得进一步核查的可疑内容。
VSE2 即使 AI 答案包含较多信息，我也有能力确定应优先验证哪些内容。
VSE3 我有信心找到可靠的信息来源来核查 AI 提供的内容。
VSE4 我有能力将 AI 答案与其他可信来源进行有效比较。
VSE5 当不同来源给出的信息不一致时，我有能力判断哪些证据更值得信赖。
VSE6 经过核查后，我有信心对 AI 答案是否准确作出合理判断。
4．感知验证努力成本（Perceived Verification Effort Cost, PVEC）——请根据您在核查生成式 AI 答案时通常需要付出的时间、精力和努力，判断下列描述与您的实际感受相符程度。
  • 非常不同意（1）
  • 不同意（2）
  • 一般（3）
  • 同意（4）
  • 非常同意（5）
PVEC1 核查生成式 AI 答案通常需要花费我较多时间。
PVEC2 有效核查生成式 AI 答案通常需要我投入额外的精力。
PVEC3 为了充分核查 AI 答案，我通常需要为多个额外步骤投入不少努力。
PVEC4 判断 AI 答案是否可靠通常需要我投入较多认知努力。
PVEC5 与直接使用 AI 答案相比，认真核查会明显增加我完成任务的整体负担。
5．后续答案验证行为（Subsequent Verification Behaviour, SVB）——以下问题询问的是在上述错误经历之后，当您再次使用生成式 AI 进行学习或完成任务时，您实际进行下列行为的频率，而不是您认为自己应该怎么做。
  • 从不（1）
  • 很少（2）
  • 有时（3）
  • 经常（4）
  • 几乎总是（5）
SVB1 对 AI 答案中的重要信息，我会查找独立且可靠的来源进行核实。
SVB2 我会比较多个来源，以确认 AI 提供的信息是否一致和准确。
SVB3 我会尽可能追溯 AI 答案所涉及的原始文献、数据或其他原始来源。
SVB4 对重要的事实、数字、计算或引用，我会进行单独核验。
SVB5 当我无法确定 AI 答案是否正确时，我会向教师、专业人士或其他具备相关知识的人进一步确认。
SVB6 在把重要的 AI 生成内容用于学习任务或作出判断之前，我会先核实其中的关键信息。
问卷到此结束，感谢您的耐心作答与支持！
更多问卷 复制此问卷