回收率与无效问卷剔除
样本量算得再准,回收率不行也是白搭;回收上来了,不剔除无效样本同样会污染结果。这篇讲两件事:怎么提高有效回收率,以及怎么有依据地剔除无效问卷。
一、回收率的计算与报告
回收率 = 有效问卷数 ÷ 发放问卷数 × 100%。在线问卷还应同时报告完成率(完成人数 ÷ 打开问卷人数)。
不同渠道的经验参考(仅供规划,不是硬标准):
| 渠道 | 典型回收率 | 说明 |
|---|
| 课堂/现场集中发放 | 85%–95% | 当场回收,质量较高 |
| 企业内网/工作群 | 50%–75% | 取决于管理层推动力度 |
| 朋友圈/社群转发 | 20%–40% | 样本自选择严重 |
| 付费样本库 | 70%–90% | 需警惕职业答题者 |
论文方法部分应写清楚:发放时间、渠道、发放份数、回收份数、有效份数、有效回收率,以及剔除标准。
示例:2026 年 3 月至 4 月,通过在线问卷平台向某高校在校生发放问卷 520 份,回收 486 份,剔除无效问卷 34 份,最终有效问卷 452 份,有效回收率 86.9%。
二、提高回收率的实操手段
- 缩短问卷:10 分钟内能完成最好,超过 15 分钟完成率断崖式下降;
- 说明价值:封面语讲清楚研究目的和用途,比"帮帮忙"有效;
- 进度条:让被试知道还剩多少;
- 适度激励:抽奖、小额红包、课程加分(需符合伦理审查要求);
- 多次提醒:在线问卷在第 3 天、第 7 天各提醒一次,通常能提升 10–20 个百分点;
- 降低门槛:移动端适配、避免强制登录、避免一题一页。
三、无效问卷的判定标准
剔除必须有事先设定的规则,不能"看着不顺眼就删"。常用标准分三类:
1. 作答时长
- 低于理论最短完成时间(可按预调研中位数的 1/3 或 1/2 设定)视为敷衍;
- 明显过快:例如 60 题 90 秒完成;
- 注意:个别被试阅读速度快,时长规则不宜过严,建议结合其他指标。
2. 规律性作答
- 连续 10 题以上选择同一选项(尤其是长量表全程同一列);
- 答案呈明显图形规律(如 1-2-3-4-3-2-1 循环);
- 反向题与正向题答案自相矛盾(反向题未反转时与同维度正题相关为负)。
3. 逻辑与内容检验
- 注意力检测题答错;
- 筛选题不符合目标群体;
- 开放题填写无意义内容("111""asdf");
- 关键逻辑题矛盾(如"你是否使用过该产品"选"否",却回答了使用体验题);
- 同一 IP、同一设备短时间内重复提交。
四、剔除的操作流程
建议按以下顺序,并记录每一步剔除了多少份:
- 删除重复提交(同账号/IP + 时间接近);
- 删除未通过筛选题的样本;
- 删除注意力检测题答错的样本;
- 删除作答时长异常的样本;
- 删除规律性作答样本;
- 最后处理缺失值(整份缺失过多的样本直接删除,少量缺失可用均值/回归插补)。
在论文中报告为漏斗式流程:
共回收 486 份,剔除重复提交 6 份、未通过筛选题 9 份、注意力检测未通过 11 份、作答时长异常 5 份、规律性作答 3 份,最终有效样本 452 份。
五、剔除之后的检查
- 样本结构:剔除前后的人口学分布是否发生明显变化?若变化很大,说明剔除可能引入了选择偏差;
- 缺失模式:缺失是否集中在某些题目或某类人群?系统性缺失提示题目设计问题;
- 样本量复核:剔除后是否仍满足事前功效分析的要求?若不足,需说明局限或补收数据。
常见误区
- 为了凑样本量放宽标准:先定标准再收数据,不能数据到手后按结果调标准;
- 只删"不显著"的样本:这是数据操纵,严重违反学术规范;
- 把缺失值全部当 0 处理:会严重扭曲均值和相关;
- 不报告剔除过程:审稿人无法判断数据质量,应完整报告漏斗。
小结
回收率靠问卷设计和发放策略,有效率靠事先设定的剔除规则。把"发放—回收—剔除—有效样本"的漏斗完整写进论文,是数据质量最直接的证明。