AI 科研
用 AI 设计问卷并完成预测试
本指南帮助研究者从研究问题和构念出发编写单一、清楚、中立的问卷题项,设计选项与跳转,使用认知访谈和小规模预测试发现歧义,而不是直接批量发放 AI 题目。
AI 能提供题项草案、发现双重问题和模拟不同理解,但问卷质量取决于构念定义、 抽样、测量和预测试。先说明每个问题要测什么、受访者是否能回忆、愿不愿回答, 再设计措辞和选项;不能仅凭 AI 的评价宣称量表有效。
| 快速摘要 | 内容 |
|---|---|
| 必备输入 | 研究问题、目标人群、构念定义、调查时间、敏感程度与分析计划 |
| 输出 | 构念—题项映射、说明语、选项、跳转、预测试脚本和修订日志 |
| 题项原则 | 一题一意、时间范围明确、选项互斥尽量穷尽、避免诱导与假设 |
| 关键验证 | 认知访谈、真实设备试填、缺失与分布检查、专业和伦理复核 |
适用与不适用
Section titled “适用与不适用”适合探索新问卷结构、改写过长题项和准备预测试材料。不适合让 AI 伪造信效度、 代表目标人群回答或未经验证修改成熟量表。使用既有量表时要核对授权、原文、 计分和适用人群;敏感调查需要额外伦理和安全评估。
6 步问卷设计流程
Section titled “6 步问卷设计流程”- 明确决策与构念:写清结果将支持什么决定,以及每个抽象概念如何定义。
- 建立题项映射:每个题项对应一个信息需求,删除没有分析用途的问题。
- 生成并审查措辞:避免双重问题、预设、术语、模糊频率和带评价色彩的词。
- 设计回答选项:确保量尺方向一致,考虑“不适用/不知道”和必要跳转。
- 做认知预测试:让目标人群边答边解释理解、回忆、判断和选项选择过程。
- 小规模运行与修订:检查完成时间、缺失、极端分布和设备问题,记录每次修改。
示例:修订一条双重题目
Section titled “示例:修订一条双重题目”目标:了解新生首次使用预约系统的难点。原题:“你是否认为系统快速、方便且说明清楚?”请指出问题,拆成可回答题项,提供时间范围和选项,并说明预测试要问什么。不要声称拆分后已经有效。问题:一题同时询问速度、操作便利和说明清晰度,受访者可能对三者判断不同。题项 1:回想你最近一次使用预约系统,从点击“提交”到看到结果,等待时间如何?选项:没有等待/很短/可以接受/较长/无法完成/记不清。题项 2:最近一次预约时,你是否能理解“资源类型”的含义?选项:完全能/大部分能/一部分能/完全不能/没有看到该字段。预测试追问:受访者如何理解“最近一次”?各选项之间是否容易选择?拆分后的题项仍需要目标人群预测试,不能因文字更清楚就宣称测量有效。
| 检查项 | 通过标准 | 修改信号 |
|---|---|---|
| 单一性 | 一题只要求一个判断 | 出现多个“和/并且”概念 |
| 时间范围 | 受访者知道回忆哪段经历 | “通常、经常”没有定义 |
| 中立性 | 不暗示正确答案 | “你是否同意优秀的新系统……” |
| 可回答 | 受访者经历过且能回忆 | 假设所有人都使用过功能 |
| 选项 | 互斥、顺序清楚、覆盖合理 | 选项重叠或缺少不适用 |
| 用途 | 对应分析或决策 | 只是“想知道”但不会使用 |
- 从“帮我出二十道问卷题”开始,没有研究问题和构念映射。
- 用 AI 模拟目标用户作答,并把模拟分布当成真实预测试数据。
- 一题包含满意度、速度和推荐意愿,却只允许一个选项。
- 修改成熟量表措辞和选项后仍沿用原来的效度声明。
- 问卷上线前只在桌面预览,没有在真实手机和跳转路径上试填。
AI 可以代替真实受访者做预测试吗?
Section titled “AI 可以代替真实受访者做预测试吗?”不可以。它能列出潜在歧义,但无法代表目标人群的经历、语言习惯和设备环境。 至少需要让真实目标用户完成认知访谈或试填。
问卷越短越好吗?
Section titled “问卷越短越好吗?”短问卷通常降低负担,但不能以遗漏关键构念为代价。删除没有分析用途和重复题, 保留回答研究问题所需的最小集合,并实际测量完成时间。
量表选项应该用五点还是七点?
Section titled “量表选项应该用五点还是七点?”没有脱离构念、受访者和分析计划的统一答案。参考经过验证的测量、目标人群区分 能力和现有规范,不能让 AI 仅凭偏好决定。
怎样处理敏感问题?
Section titled “怎样处理敏感问题?”确认是否真的需要,说明用途与保护方式,提供跳过选项,并把问题放在合适位置。 涉及伦理、法律或组织政策时应接受相应审查。
- 用 AI 明确研究问题:先定义构念和证据需求。
- 用 AI 制定数据清洗计划:预先规定缺失和无效响应处理。
- 用 AI 辅助定性分析:分析开放题与预测试访谈。
- 用 AI 写研究摘要:控制问卷结果的表达强度。
- 研究工作中心:查看完整研究路径。
问卷不是题目集合,而是构念、回答过程和分析用途之间的测量工具。用 AI 检查 措辞和结构,但必须通过真实目标人群预测试、记录修订并谨慎对待有效性声明。