尊敬的专家:
您好!
感谢您在百忙之中抽出时间参与本研究!我们诚挚地邀请您担任本研究的咨询专家,对哈尔滨医科大学附属肿瘤医院初步构建的《临床小讲课AI评价指标》提出宝贵意见。本研究团队基于《住院医师规范化培训临床小讲课指南(2021年版)》,结合国内外相关文献,初步构建了一套可供AI自动识别的临床小讲课评价指标。该指标体系共包含4个维度、18项指标,总分100分(其中培训准备15分、培训方法45分、培训过程30分、总体印象10分)。所有指标的评分规则均已转化为可供AI检测的客观量化特征(如关键词频次、时长阈值、语音特征、图像识别等)。
第一部分 研究说明与填写指引
一、研究方法与流程
本研究采用德尔菲法,拟进行2轮专家咨询:
①第一轮:请您对各项指标在“与《指南》符合度”“AI可识别性”“评分档位清晰度”三个维度进行评分,并提出修改、新增或删除建议。
②第二轮:我们将第一轮的统计结果(匿名)与修订后的指标体系一并反馈给您,请您再次评分。
二、填写说明
(一)本问卷共分为五个部分:
①研究说明与填写指引;
②专家基本情况;
③指标评价(核心部分);
④整体评价;
⑤专家权威程度自评。
(二)请您根据您的专业知识和实践经验,对每项指标进行独立判断,无需讨论。
(三)问卷采用 Likert 5级量表进行评分(1=最低,5=最高)。
(四)若您在某一维度的评分≤3分,请在问卷第三部分结尾处简要说明理由并提出具体修改方案。
(五)请于收到问卷后1周内完成并返回。
(六)您的所有回答将严格保密,仅用于本研究的统计分析。
三、知情同意
(一)您的参与完全自愿,您有权在任何阶段退出研究。
(二)所有数据修订时均进行匿名化处理,仅以结果汇总形式呈现。
如您同意参与,请签署下方知情同意书。
知情同意签名:______________(签名此处可不填,在问卷结尾处上传图片即可)
第二部分 专家基本情况
主要专业领域(可多选)
第三部分 指标评价(核心部分)
填写说明:请对以下18项指标逐一在三个维度进行评分(1—5分)
维度一:培训准备(3项,共15分)
指标1:授课主题(5分)
指标描述:
5分档:标题中出现≥1个临床疾病/症状/操作关键词(匹配住培病种库),且无“基础/概述/历史/发展”等纯理论词,标题≤20字,明确指向临床实际问题;
3-4分档:有临床关键词,但含“基础/概述”等纯理论词,或标题>20字,未明确指向临床痛点;
0-2分档:无任何临床关键词,或纯理论标题(如“肺癌概述”),与临床实际无关。(《指南》对应条目:围绕住培细则,聚焦临床实际问题)
指标2:教学目标(5分)
5分档:前3分钟语音或PPT第一页含“目标/掌握/学会/能”+可测量动词(列出/鉴别/制定/操作/判读/处理),目标数≤3条,每条均明确可衡量;
3-4分档:有目标表述,但无明确可测量动词,或目标数>3条;
0-2分档:无任何教学目标相关表述。(《指南》对应条目:围绕住培细则,聚焦临床实际问题)
指标3:课件与教学准备(5分)
5分档:非标题页文字≤7行/页,标题字号≥28pt/正文≥24pt,≥30%页面含图片/图表/流程图,无连续3页全文字,课件含拓展阅读/文献资料链接;
3-4分档:满足5分标准中的3项,未全部达标;
0-2分档:满足≤2项,或出现字号<20pt的页≥3页,课件逻辑混乱。(《指南》对应条目:课件画面简洁,字体大小配色合理,逻辑结构清晰)
指标4:教学方法选择(5分)
5分档:全程检测到≥2种教学方法特征标志:①CBL(“病例/患者”+连续≥1分钟讲解);②PBL(“问题/如果”+停顿≥3秒);③小组讨论(“分组/讨论”+≥30秒多人语音/安静);④操作演示(器械/模拟人/操作视频);
3-4分档:仅检测到1种教学方法特征标志;
0-2分档:无任何教学方法标志,全程单人口述。(《指南》对应条目:根据培训目标,培训方法选择适当)
指标5:时间分配(5分)
5分档:总时长25—40分钟,导入环节≤3分钟,练习/互动环节累计≥5分钟,最后2分钟内有明确总结环节(出现“总结/回顾/小结”关键词);
3-4分档:总时长合规,但导入环节3—5分钟,或练习/互动环节<5分钟但≥2分钟;
0-2分档:总时长<20分钟或>50分钟,或导入环节>5分钟,或练习/互动环节<2分钟,无明确总结环节。(《指南》对应条目:根据培训内容,合理分配时间)
指标6:开场导入(5分)
5分档:开场1分钟内出现≥1项导入设计(提问句含“?”/临床病例介绍“一位XX患者”/数据引用/短视频/图片),且无自我否定句;
3-4分档:有上述导入设计,但同时出现自我否定句;
0-2分档:无任何导入设计,开场直接进入理论讲解。(《指南》对应条目:开场快速吸引住院医师注意力,并自然导入授课主题)
指标7:理论联系临床实践(5分)
5分档:全课程出现≥1个完整临床病例(含症状+检查+处置关键词),≥1次指南/专家共识/文献引用(含“指南/共识/202X年”),“患者/临床/处理/诊疗”关键词累计≥5次;
3-4分档:无指南/文献引用,临床关键词有出现但<5次;
0-2分档:无任何临床病例,全程纯理论讲解,与临床实践无关。(《指南》对应条目:学习内容侧重将理论知识与临床实践建立联系)
指标8:课堂互动设计(10分)
9-10分档:全程设计≥5次有效互动,含≥3次学员主动发言/提问,每次互动后讲师有明确回应与点评,互动覆盖≥80%的授课环节;
6-8分档:全程设计3—4次有效互动,含1—2次学员主动发言,互动覆盖50%—79%;
3-5分档:全程仅1—2次互动,且为讲师单向提问,无学员主动参与;
0-2分档:全程无任何互动,完全单向灌输。(《指南》对应条目:授课过程中,善于与住院医师互动,避免单向灌输)
指标9:现场练习与实操指导(5分)
5分档:设计≥1个完整现场练习环节(含题目/任务+学员作答+讲师点评纠错),练习时长≥3分钟,明确指向本次授课的核心知识点;
3-4分档:有练习环节,但无明确的学员作答或讲师点评纠错环节;
0-2分档:无任何现场练习环节。(《指南》对应条目:引导住院医师共同回顾所学内容)
指标10:课程回顾与总结(5分)
5分档:课程最后3分钟内有明确的总结环节,出现“总结/回顾/小结/核心要点”关键词,引导学员共同回顾,且回顾内容覆盖本次授课全部核心知识点;
3-4分档:有总结环节,但仅为讲师单向复述,未引导学员参与,或未覆盖全部核心知识点;
0-2分档:无任何课程总结环节。(《指南》对应条目:引导住院医师共同回顾所学内容)
指标11:学习效果现场评估(5分)
5分档:课程中设计≥2次现场学习效果评估(如随堂提问、小测试、病例分析作答),并根据评估结果及时调整了授课内容/节奏;
3-4分档:仅设计1次现场学习效果评估,未根据结果调整授课;
0-2分档:无任何现场学习效果评估环节。(《指南》对应条目:通过适当方式,评估学习效果)
维度三:培训过程(6项,共30分)
指标12:思政与医学人文融入(5分)
5分档:课程中自然融入≥1处医学人文/思政内容(如医患沟通、职业素养、医德医风、行业政策、家国情怀),与授课内容深度融合,无生硬堆砌;
3-4分档:有提及医学人文/思政内容,但与授课内容融合度低,生硬堆砌;
0-2分档:无任何医学人文/思政相关内容。(《指南》对应条目:课程中融入思政与医学人文内容)
指标13:讲师仪态与肢体语言(5分)
5分档:全程仪态端正,着装规范,肢体语言自然适当,无多余小动作,面向学员授课,眼神与学员有交流;
3-4分档:仪态基本端正,有少量多余小动作,未全程面向学员;
0-2分档:仪态不端,着装不规范,全程低头念稿,无肢体语言与眼神交流。(《指南》对应条目:仪态端正,肢体语言适当)。
指标14:课堂节奏与现场调整(5分)
5分档:全程关注学员反应,根据学员表情/互动/作答情况,及时调整授课节奏、内容深度或讲解方式,学员无明显走神/困惑;
3-4分档:有关注学员反应,但未及时调整,学员有少量走神;
0-2分档:全程未关注学员反应,自顾自讲解,学员大面积走神/困惑。(《指南》对应条目:关注住院医师现场反应及时进行调整)
指标15:学员尊重与鼓励(5分)
5分档:全程尊重学员,对学员每次发言/提问给予积极回应与鼓励,无否定/嘲讽语言,主动邀请内向学员参与;
3-4分档:对学员发言有回应但缺乏鼓励,或有少量不恰当评价;
0-2分档:未回应学员发言,或有否定/嘲讽语言,不尊重学员。(《指南》对应条目:尊重住院医师,及时鼓励住院医师参与)
指标16:语言表达能力(5分)
5分档:全程语速适中(120-180字/分钟),语调有抑扬顿挫,语言连贯流畅,吐字清晰,无“嗯/啊/然后/就是”等口头语;
3-4分档:语速基本适中,语言基本连贯,有少量口头语,语调无明显起伏;
0-2分档:语速过快/过慢,语言不连贯,大量口头语,吐字不清。(《指南》对应条目:语速适当,语调抑扬顿挫,语言连贯,无不必要口头语)
指标17:内容逻辑与条理性(5分)
5分档:课程结构完整(导入-展开-练习-总结),知识点间有明确逻辑关联,条理清晰,层层递进,无逻辑混乱/前后矛盾;
3-4分档:课程结构基本完整,逻辑基本清晰,有少量内容前后重复或关联度低;
0-2分档:课程结构混乱,知识点间无逻辑关联,讲解颠三倒四,前后矛盾。(《指南》对应条目:讲解内容条理清晰,逻辑性强)
指标18:总体印象与目标达成(10分)
8-10分档:满足以下全部:①检测到全部6个教学环节(开场、目标、展开、练习、评估、小结)的标志;②基于第11条客观测试,学员正确率≥80%(若无客观测试,则此项不满足,最高得6分);③思政关键词出现在课程中间段(非开场/结尾单独段落);
6-8分档:满足①②中的两项,或仅满足①但正确率60%—79%;4-5分档:满足①但正确率<60%或无客观测试,或仅满足②且正确率≥80%但环节不全;
0-3分档:环节≤3个,或正确率<40%,或缺失思政内容。(《指南》对应条目:流程规范,达到小讲课目标,学员满意度高)
第四部分 整体评价
您认为《临床小讲课指南(2021年版)》中是否还存在上述18项指标未能覆盖的重要内容,且该内容能够且应该被AI识别/辅助评价?
您认为哪些指标之间存在内容重叠、可以合并?请说明。
其他开放性建议:(可对指标框架、评分规则、德尔菲流程等提出任何意见)
第五部分 专家权威程度自评
问卷到此结束,感谢您的宝贵时间和专业意见!再次感谢您的支持与参与!
如有任何疑问:
联系人:何靖冉
联系电话:18845095406(微信同号)
联系邮箱:jingran619@163.com