《临床小讲课AI评价指标》德尔菲专家咨询问卷(第一轮)

尊敬的专家:

       您好!

       感谢您在百忙之中抽出时间参与本研究!我们诚挚地邀请您担任本研究的咨询专家,对哈尔滨医科大学附属肿瘤医院初步构建的《临床小讲课AI评价指标》提出宝贵意见。本研究团队基于《住院医师规范化培训临床小讲课指南(2021年版)》,结合国内外相关文献,初步构建了一套可供AI自动识别的临床小讲课评价指标。该指标体系共包含4个维度、18项指标,总分100分(其中培训准备15分、培训方法45分、培训过程30分、总体印象10分)。所有指标的评分规则均已转化为可供AI检测的客观量化特征(如关键词频次、时长阈值、语音特征、图像识别等)。

第一部分 研究说明与填写指引

       一、研究方法与流程

      本研究采用德尔菲法,拟进行2轮专家咨询:

      ①第一轮:请您对各项指标在“与《指南》符合度”“AI可识别性”“评分档位清晰度”三个维度进行评分,并提出修改、新增或删除建议。

      ②第二轮:我们将第一轮的统计结果(匿名)与修订后的指标体系一并反馈给您,请您再次评分。

       二、填写说明

     (一)本问卷共分为五个部分:

    ①研究说明与填写指引;

    ②专家基本情况;

    ③指标评价(核心部分);

    ④整体评价;

    ⑤专家权威程度自评。

    (二)请您根据您的专业知识和实践经验,对每项指标进行独立判断,无需讨论。

    (三)问卷采用 Likert 5级量表进行评分(1=最低,5=最高)。

    (四)若您在某一维度的评分≤3分,请在问卷第三部分结尾处简要说明理由并提出具体修改方案。

    (五)请于收到问卷后1周内完成并返回。

    (六)您的所有回答将严格保密,仅用于本研究的统计分析。

      三、知情同意

    (一)您的参与完全自愿,您有权在任何阶段退出研究。

    (二)所有数据修订时均进行匿名化处理,仅以结果汇总形式呈现。

      如您同意参与,请签署下方知情同意书。

      知情同意签名:______________(签名此处可不填,在问卷结尾处上传图片即可)

第二部分 专家基本情况

*
1.
姓名
*
2.
工作单位及专业基地
*
3.
职称
住院医师
主治医师
副主任医师
主任医师
副教授/副研究员
教授/研究员
其他
*
4.
从事住培教学/医学教育工作年限
<5年
5—10年
11—15年
>15年
*
5.

主要专业领域(可多选)

【多选题】
住培教学管理
临床教学督导
临床带教
医学教育研究
AI/教育技术
*
6.
是否参与过教学评价指标体系的制定工作
*
7.
是否具有AI/教育技术相关经验
*
8.
是否参与过AI评课系统开发或使用
*
9.
联系方式

第三部分 指标评价(核心部分)

填写说明:请对以下18项指标逐一在三个维度进行评分(1—5分)





维度一:培训准备(3项,共15分)

*
10.

指标1:授课主题(5分)

指标描述:

5分档:标题中出现≥1个临床疾病/症状/操作关键词(匹配住培病种库),且无“基础/概述/历史/发展”等纯理论词,标题≤20字,明确指向临床实际问题;

3-4分档:有临床关键词,但含“基础/概述”等纯理论词,或标题>20字,未明确指向临床痛点;

0-2分档:无任何临床关键词,或纯理论标题(如“肺癌概述”),与临床实际无关。(《指南》对应条目:围绕住培细则,聚焦临床实际问题)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
11.

指标2:教学目标(5分)

指标描述:

5分档:前3分钟语音或PPT第一页含“目标/掌握/学会/能”+可测量动词(列出/鉴别/制定/操作/判读/处理),目标数≤3条,每条均明确可衡量;

3-4分档:有目标表述,但无明确可测量动词,或目标数>3条;

0-2分档:无任何教学目标相关表述。(《指南》对应条目:围绕住培细则,聚焦临床实际问题)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
12.

指标3:课件与教学准备(5分)

指标描述:

5分档:非标题页文字≤7行/页,标题字号≥28pt/正文≥24pt,≥30%页面含图片/图表/流程图,无连续3页全文字,课件含拓展阅读/文献资料链接;

3-4分档:满足5分标准中的3项,未全部达标;

0-2分档:满足≤2项,或出现字号<20pt的页≥3页,课件逻辑混乱。(《指南》对应条目:课件画面简洁,字体大小配色合理,逻辑结构清晰)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
维度二:培训方法(8项,共45分)
*
13.

指标4:教学方法选择(5分)

指标描述:

5分档:全程检测到≥2种教学方法特征标志:①CBL(“病例/患者”+连续≥1分钟讲解);②PBL(“问题/如果”+停顿≥3秒);③小组讨论(“分组/讨论”+≥30秒多人语音/安静);④操作演示(器械/模拟人/操作视频);

3-4分档:仅检测到1种教学方法特征标志;

0-2分档:无任何教学方法标志,全程单人口述。(《指南》对应条目:根据培训目标,培训方法选择适当)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
14.

指标5:时间分配(5分)

指标描述:

5分档:总时长25—40分钟,导入环节≤3分钟,练习/互动环节累计≥5分钟,最后2分钟内有明确总结环节(出现“总结/回顾/小结”关键词);

3-4分档:总时长合规,但导入环节3—5分钟,或练习/互动环节<5分钟但≥2分钟;

0-2分档:总时长<20分钟或>50分钟,或导入环节>5分钟,或练习/互动环节<2分钟,无明确总结环节。(《指南》对应条目:根据培训内容,合理分配时间)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
15.

指标6:开场导入(5分)

指标描述:

5分档:开场1分钟内出现≥1项导入设计(提问句含“?”/临床病例介绍“一位XX患者”/数据引用/短视频/图片),且无自我否定句;

3-4分档:有上述导入设计,但同时出现自我否定句;

0-2分档:无任何导入设计,开场直接进入理论讲解。(《指南》对应条目:开场快速吸引住院医师注意力,并自然导入授课主题)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
16.

指标7:理论联系临床实践(5分)

指标描述:

5分档:全课程出现≥1个完整临床病例(含症状+检查+处置关键词),≥1次指南/专家共识/文献引用(含“指南/共识/202X年”),“患者/临床/处理/诊疗”关键词累计≥5次;

3-4分档:无指南/文献引用,临床关键词有出现但<5次;

0-2分档:无任何临床病例,全程纯理论讲解,与临床实践无关。(《指南》对应条目:学习内容侧重将理论知识与临床实践建立联系)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
17.

指标8:课堂互动设计(10分)

指标描述:

9-10分档:全程设计≥5次有效互动,含≥3次学员主动发言/提问,每次互动后讲师有明确回应与点评,互动覆盖≥80%的授课环节;

6-8分档:全程设计3—4次有效互动,含1—2次学员主动发言,互动覆盖50%—79%;

3-5分档:全程仅1—2次互动,且为讲师单向提问,无学员主动参与;

0-2分档:全程无任何互动,完全单向灌输。(《指南》对应条目:授课过程中,善于与住院医师互动,避免单向灌输)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
18.

指标9:现场练习与实操指导(5分)

指标描述:

5分档:设计≥1个完整现场练习环节(含题目/任务+学员作答+讲师点评纠错),练习时长≥3分钟,明确指向本次授课的核心知识点;

3-4分档:有练习环节,但无明确的学员作答或讲师点评纠错环节;

0-2分档:无任何现场练习环节。(《指南》对应条目:引导住院医师共同回顾所学内容)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
19.

指标10:课程回顾与总结(5分)

指标描述:

5分档:课程最后3分钟内有明确的总结环节,出现“总结/回顾/小结/核心要点”关键词,引导学员共同回顾,且回顾内容覆盖本次授课全部核心知识点;

3-4分档:有总结环节,但仅为讲师单向复述,未引导学员参与,或未覆盖全部核心知识点;

0-2分档:无任何课程总结环节。(《指南》对应条目:引导住院医师共同回顾所学内容)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
20.

指标11:学习效果现场评估(5分)

指标描述:

5分档:课程中设计≥2次现场学习效果评估(如随堂提问、小测试、病例分析作答),并根据评估结果及时调整了授课内容/节奏;

3-4分档:仅设计1次现场学习效果评估,未根据结果调整授课;

0-2分档:无任何现场学习效果评估环节。(《指南》对应条目:通过适当方式,评估学习效果)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度

维度三:培训过程(6项,共30分)

*
21.

指标12:思政与医学人文融入(5分)

指标描述:

5分档:课程中自然融入≥1处医学人文/思政内容(如医患沟通、职业素养、医德医风、行业政策、家国情怀),与授课内容深度融合,无生硬堆砌;

3-4分档:有提及医学人文/思政内容,但与授课内容融合度低,生硬堆砌;

0-2分档:无任何医学人文/思政相关内容。(《指南》对应条目:课程中融入思政与医学人文内容)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
22.

指标13:讲师仪态与肢体语言(5分)

指标描述:

5分档:全程仪态端正,着装规范,肢体语言自然适当,无多余小动作,面向学员授课,眼神与学员有交流;

3-4分档:仪态基本端正,有少量多余小动作,未全程面向学员;

0-2分档:仪态不端,着装不规范,全程低头念稿,无肢体语言与眼神交流。(《指南》对应条目:仪态端正,肢体语言适当)。

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
23.

指标14:课堂节奏与现场调整(5分)

指标描述:

5分档:全程关注学员反应,根据学员表情/互动/作答情况,及时调整授课节奏、内容深度或讲解方式,学员无明显走神/困惑;

3-4分档:有关注学员反应,但未及时调整,学员有少量走神;

0-2分档:全程未关注学员反应,自顾自讲解,学员大面积走神/困惑。(《指南》对应条目:关注住院医师现场反应及时进行调整)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
24.

指标15:学员尊重与鼓励(5分)

指标描述:

5分档:全程尊重学员,对学员每次发言/提问给予积极回应与鼓励,无否定/嘲讽语言,主动邀请内向学员参与;

3-4分档:对学员发言有回应但缺乏鼓励,或有少量不恰当评价;

0-2分档:未回应学员发言,或有否定/嘲讽语言,不尊重学员。(《指南》对应条目:尊重住院医师,及时鼓励住院医师参与)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
25.

指标16:语言表达能力(5分)

指标描述:

5分档:全程语速适中(120-180字/分钟),语调有抑扬顿挫,语言连贯流畅,吐字清晰,无“嗯/啊/然后/就是”等口头语;

3-4分档:语速基本适中,语言基本连贯,有少量口头语,语调无明显起伏;

0-2分档:语速过快/过慢,语言不连贯,大量口头语,吐字不清。(《指南》对应条目:语速适当,语调抑扬顿挫,语言连贯,无不必要口头语)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
26.

指标17:内容逻辑与条理性(5分)

指标描述:

5分档:课程结构完整(导入-展开-练习-总结),知识点间有明确逻辑关联,条理清晰,层层递进,无逻辑混乱/前后矛盾;

3-4分档:课程结构基本完整,逻辑基本清晰,有少量内容前后重复或关联度低;

0-2分档:课程结构混乱,知识点间无逻辑关联,讲解颠三倒四,前后矛盾。(《指南》对应条目:讲解内容条理清晰,逻辑性强)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
维度四:总体印象(1项,共10分)
*
27.

指标18:总体印象与目标达成(10分)

指标描述:

8-10分档:满足以下全部:①检测到全部6个教学环节(开场、目标、展开、练习、评估、小结)的标志;②基于第11条客观测试,学员正确率≥80%(若无客观测试,则此项不满足,最高得6分);③思政关键词出现在课程中间段(非开场/结尾单独段落);

6-8分档:满足①②中的两项,或仅满足①但正确率60%—79%;4-5分档:满足①但正确率<60%或无客观测试,或仅满足②且正确率≥80%但环节不全;

0-3分档:环节≤3个,或正确率<40%,或缺失思政内容。(《指南》对应条目:流程规范,达到小讲课目标,学员满意度高)

1=很低2=较低3=一般4=较高5=很高
与《指南》符合程度
与《指南》符合程度
AI可识别性
AI可识别性
评分档位清晰度
评分档位清晰度
*
28.
若您对上述18项指标中任一指标的评分≤3分,请在下方列出并填写具体意见及改进方案。

第四部分 整体评价

*
29.

您认为《临床小讲课指南(2021年版)》中是否还存在上述18项指标未能覆盖的重要内容,且该内容能够且应该被AI识别/辅助评价?

*
30.
请在下表填写建议新增指标名称、对应的指南原文、建议的AI识别特征(简述) 和建议分值
*
31.

您认为哪些指标之间存在内容重叠、可以合并?请说明。

*
32.
您认为当前AI技术条件下,18项指标中大约有多少项可以实现完全自动评分?______项
*
33.
您认为不能完全实现自动评分的指标是?请具体说明原因(没有填”否“)
*
34.
您认为哪些指标在技术实现上最具挑战性?请列出序号
*
35.
您对AI识别特征的整体建议是:
*
36.

其他开放性建议:(可对指标框架、评分规则、德尔菲流程等提出任何意见)

第五部分 专家权威程度自评

*
37.
判断依据(Ca)(请勾选在本问卷中判断依据来源对您的影响程度,勾选相应选项)
理论分析
理论分析
实践经验
实践经验
国内外文献参考
国内外文献参考
直觉判断
直觉判断
*
38.
熟悉程度(Cs)(请勾选您对以下内容的熟悉程度)
非常不熟悉不熟悉一般熟悉非常熟悉
《临床小讲课指南(2021年版)》
《临床小讲课指南(2021年版)》
AI技术在医学教育中的应用
AI技术在医学教育中的应用
*
39.
电子签/手写签名图片
点击上传

问卷到此结束,感谢您的宝贵时间和专业意见!再次感谢您的支持与参与!

如有任何疑问:

联系人:何靖冉

联系电话:18845095406(微信同号)

联系邮箱:jingran619@163.com

问卷星提供技术支持
举报