数据清洗与预处理

数据清洗是数据分析的第一步，也是保证分析结果可靠的前提。问卷回收的数据往往存在缺失、异常、重复等问题，如果不加以处理，会直接影响后续统计检验的准确性。

数据清洗的概念

数据清洗是从数据集中检测和纠正（或删除）损坏或不准确记录的过程。它是指识别数据中不完整、不正确、不准确或不相关的部分，然后替换、修改或删除这些"脏数据"。

数据清洗与数据确认不同：数据确认在输入时执行并拒绝无效数据，而数据清洗是对已收集的批量数据执行。

异常值处理

异常值（outliers）是指数据集中明显偏离其他观测值的数值。

检测方法

• 统计方法：Z-score（|Z| > 3 视为异常）、IQR 四分位距法（超出 Q1 − 1.5×IQR 或 Q3 + 1.5×IQR 视为异常）
• 可视化方法：箱线图、散点图

处理方式

• 删除：删除异常记录（需谨慎，可能丢失有效信息）
• 替换：用均值或中位数替换
• 截尾处理（winsorization）：将极端值压缩到合理范围
• 保留但标记：保留异常值并在分析中单独说明

处理异常值前，应先判断异常值是否由录入错误造成。若是真实数据，应谨慎处理，避免人为扭曲结果。

缺失值处理

缺失值是指数据集中某些字段没有值的情况。问卷中常见的缺失包括未作答、跳题等。

处理方法

若某变量的缺失比例过高（如超过 20%），应考虑该变量是否可靠，必要时从分析中剔除。

重复数据处理

重复数据是指数据集中存在完全相同或高度相似的记录。

• 数据去重：识别并删除完全重复的记录；
• 相似记录合并：对于不完全相同但指向同一实体的记录，进行合并或归一化处理；
• 保留策略：根据业务需求决定保留哪条记录（如保留最新、最完整的记录）。

数据标准化

数据标准化是将数据转换为统一格式或统一尺度的过程，包括：

• 格式标准化：统一日期格式、文本格式等；
• 单位统一：将不同单位的数据转换为统一单位；
• 数值缩放：将数值缩放到特定范围（如 0-1 之间）或转换为标准正态分布（Z-score 标准化）；
• 编码统一：统一分类变量的编码方式，确保不同数据源使用一致的代码表。

数据质量维度

数据质量的关键维度包括：准确性、完备性、一致性、时效性、有效性、唯一性、完整性。在开始分析前，应逐一检查这些维度，确保数据质量达标。

小结

数据清洗是数据分析的基础环节。通过处理异常值、缺失值、重复数据并进行标准化，可以显著提升分析结果的可靠性。建议在正式分析前，先对数据进行全面的质量检查，并记录清洗过程，以便在论文中说明数据处理方法。