专家评测说明文档
一、评测目的
本次专家评测旨在系统评估不同大语言模型输出质量。比较不同大语言模型对规划图件在空间理解准确性、表达质量与规划专业性方面的表现。
二、评测材料说明
每个评测单元包含以下信息：
1. 一张规划图像；
2. 一条统一的大模型提示词指令（如下）；
"你是一名城市与区域规划研究者，专长于生态系统服务评估、生态规划与国土空间规划。
你的任务是：在阅读提供的规划文本图片及参考图例表述基础上，识别和整理规划中的空间格局结构，字数控制200内"
3. 两段大语言模型输出结果文本（文本A与文本 B），均基于同一规划图像生成。
三、评测方式
本评测采用双盲成对评测方式：
•您不会看到任何大语言模型名称。
• 文本 A / B 的顺序是随机的。
• 不存在标准答案或参考文本。
• 请仅基于文本本身的质量进行判断。
四、评测任务
请专家从以下三个核心维度，对文本 A与文本B分别进行评分。评分采用等级量表。
1.分维度打分（1–5 分制）：
维度一：规划元素、位置与结构正确性
该维度关注文本对规划图像中空间内容理解的准确程度，包括是否正确识别规划元素、是否准确描述空间位置关系，以及是否合理概括整体空间结构。
维度二：表达逻辑与清晰度
该维度关注文本的结构清晰性、层次组织与易于理解程度，评估文本在表达层面的整体质量。
维度三：规划专业性
该维度关注文本是否符合城市规划领域的专业规范与学术表达要求，包括术语使用与规划分析逻辑。
五、评测数量与时间安排
• 您将评测约 43 个评测单元。
• 预计总用时约 45–60 分钟。
• 可一次性完成，如感到疲劳可中途短暂休息。
六、评测注意事项
• 请独立完成评测，不要与他人讨论。
• 不需要追求标准答案，请遵循您的专业判断。
• 如遇难以判断的情况，请依然给出您认为相对更优的选择。
• 所有评测结果仅用于学术研究与模型分析。
七、评测结果用途说明
评测结果将用于统计模型的相对胜率、各维度平均评分。所有结果将以匿名、汇总形式呈现。
感谢您的专业支持！
