数据统计服务是怎样处理"丢了的数据"的

你有没有遇到过这种情况：辛辛苦苦收回来的问卷，有些问题压根没人填？或者公司系统导出的报表，某几天的数据莫名其妙消失了？在数据统计这个领域，我们把这种情况叫做"缺失数据"。听起来挺烦人的对吧？但实际上，缺失数据是再正常不过的事情——毕竟，让每个人都完完整整地回答所有问题，让每个系统都一刻不停地完美运行，这本身就是一种理想状态。

作为一家深耕医学翻译和本地化服务的公司，康茂峰在处理客户项目数据时，也经常要和各种"不完美"的数据打交道。今天我想跟大伙儿聊聊，数据统计服务到底是怎么处理这些缺失数据的。保证通俗易懂，不整那些云山雾绕的概念。

缺失数据是咋来的？先搞明白这个问题

在说怎么处理之前，咱们得先搞清楚数据是怎么丢的。这就好比医生看病，你得先知道病因，才能对症下药。缺失数据的成因大致可以分成几类，理解这些分类，后面的处理方法才说得通。

第一类情况挺常见的，就是受访者或者录数据的人马虎了。比如做问卷调查，问到收入、职业敏感问题的时候，很多人就空着不填了。这种情况我们叫它"随机缺失"，听起来好像挺随机的，但其实背后有规律——收入越高的人越不想填，单位福利越好的人越不在乎填。这种偏好性的缺失，会让剩下的数据变得不均衡，分析出来的结果自然就有偏差。

第二类情况更像是"系统性缺席"。比如某一批次的问卷印刷出了问题，漏印了一道题，那整批问卷这道题都没数据。再比如某个地区的调查员特别不靠谱，敷衍了事，那这个地区的数据质量就普遍不行。这种缺失就不是随机的问题了，而是整个数据采集环节出了bug。

第三类情况稍微复杂一点，叫做"设计性缺失"。什么意思呢？有些问题就是故意不问的。比如调查学历的时候，如果选择了"无学历"这个选项，后面的"毕业院校""专业方向"自然就不用填了。这种缺失是设计问卷的时候就计划好的，处理起来反而最简单。

最后一类说起来有点无奈，就是数据自己"跑丢"了。系统升级的时候数据没迁移完整，硬盘坏了数据丢失，整理表格的时候手滑删错了行——这些都是技术层面的问题。有经验的统计人员一看数据缺口的位置和模式，基本就能判断出是哪种原因造成的。

处理缺失数据的几种常见思路

好，知道了数据是怎么丢的，接下来就说说怎么处理。数据统计服务通常有几种套路，每种套路适用的情况不一样，选错了方法，数据分析的结果可能差之毫厘谬以千里。

最简单粗暴的方法是什么都不做，直接把有缺失的那几行删掉。听起来有点不靠谱对吧？但实际上，如果缺失的数据量很小，比如1000个样本里只有10个有问题，那删掉这几条影响确实不大。而且操作简单，不会引入人为误差。不过这种方法有个前提——缺失的数据得是"随机缺失"，也就是这些缺失的记录和其他完整记录在本质上没什么区别。如果缺失的那些人本身就是一群特殊的存在，删掉他们就会让样本失去代表性。

第二种方法叫均值填补。啥意思呢？就是把缺失的值用这个变量的平均值来代替。比如调查年龄的时候，有5个人没填，而整体平均年龄是32岁，那就把这5个人的年龄都记作32岁。这种方法比直接删数据"损失"小，至少样本量保住了。但问题也很明显——它会人为地降低数据的变异性。想象一下，如果真实数据里年轻人的比例其实很高，用均值一填，年轻和年老的比例就被拉平了，分析结论自然就有偏差。所以均值填补通常只适合那种对精确度要求不高、快速出结果的分析场景。

第三种方法稍微高级一点，叫中位数或者众数填补。跟均值填补的道理差不多，但用的是中位数或者出现次数最多的值来填充。什么情况下用这个呢？当数据分布特别偏的时候。比如财富调查，大部分人年收入在10到30万之间，但有几个超级富豪把平均数拉得老高，这时候用均值就不合适了，中位数反而更能代表"大多数人的水平"。处理收入、房价这类偏态分布的数据时，中位数填补比均值填补更稳妥。

还有一种方法在学术研究里用得比较多，叫做多重插补。这个方法的核心思想是：既然我们不知道真实值是啥，那干脆多猜几次，每次猜一个合理的值，然后看不同猜测下得出的结论是不是一致的。比如某个人的收入缺失了，我们根据他的职业、地区、教育背景，推测他的收入可能在15万到20万之间。那我们就随机猜几个值填进去，分别做分析，最后把多次分析的结果综合起来。这种方法听起来很麻烦，但确实能更好地反映数据的不确定性，比那种只填一个确定值的方法科学得多。

康茂峰在处理缺失数据时的实践心得

说到这儿，我想起康茂峰在实际项目中的几个案例，可能对大家理解这些方法的应用有点帮助。

之前我们做一个医学会议的用户满意度调查，收回来大概3000多份问卷。结果发现有一个多选题——"您对会议内容的哪些方面最满意"——有将近20%的人没有作答。一开始我们还挺着急的，20%可不是个小数目。后来分析了一下，发现这个多选题的位置比较特殊，放在了问卷比较靠后的地方，而且需要滚动页面才能看到。有可能一些受访者做到这儿就烦了，懒得往下看就提交了。

这种情况属于典型的"与问卷设计有关的缺失"，不是随机缺失。那怎么办？我们采取了一个策略：把这20%的缺失标记为"信息未知"，在后续分析中分层处理。比如对比作答者和未作答者在其他问题上的回答差异，看看两组人在整体满意度、推荐意愿这些关键指标上有没有显著不同。如果差异不显著，说明缺失可能是随机的，分析时可以把这部分当作"不特别满意"来处理；如果差异显著，那就说明这背后有文章，需要在报告里专门讨论这部分人群可能的特点。

还有一个例子是我们处理客户项目数据的时候遇到的。某个长期合作的医药企业客户，需要统计他们全球各区域办事处的响应效率。数据导出来之后，发现有两个月的"响应时间"字段有不少空值。仔细一查，是那段时间系统升级，有几个区域的响应数据没传上来。

这种情况下缺失的原因很明确，是技术问题。那处理方法也就相对清晰了。首先，我们没有用均值或者中位数来填充这两个月的缺失值，因为填充的值会影响整体趋势的判断。其次，我们把这部分缺失标注为"系统原因导致的缺失"，在报告的可视化图表里用灰色色块或者断点来表示，让看报告的人一眼就知道这段时间数据不完整。最后，在计算平均响应时间的时候，我们把这两个月排除在外，或者单独标注"不含系统升级期间的数据"。这样做的好处是保证了数据的真实性和可追溯性，避免了用虚假数据误导决策。

处理缺失数据时容易踩的坑

虽然处理缺失数据的方法看起来就那么几种，但在实际操作中，很多新手甚至有些经验的分析师还是会犯一些共性的错误。我来给大家提个醒，说说那些容易踩的坑。

第一个坑就是"无脑删数据"。有些人一看到数据有缺失，不管三七二十一就把整行删掉。结果删着删着，样本量从3000变成500，再变成200，最后统计分析的power严重不足，得出个结论自己都不太敢信。更冤的是，有时候删掉的那些数据恰恰是最有价值的信息。比如一个关于药物疗效的临床试验，那些中途退出的患者往往是不良反应比较严重的，把他们的数据直接删掉，等于把最重要的信息给扔了。

第二个坑是"无脑填均值"。这个坑比第一个更隐蔽，因为填了均值之后样本量没变，统计检验也能跑出结果来看着挺像那么回事。但问题在于，均值填充会扭曲变量之间的相关关系。比如年龄和收入的关系，真实的应该是正相关，但如果你把缺失的年龄都用均值填了，这个相关性就会被削弱。后续再做回归分析、因素分析这些多变量分析的时候，结果就可能不准确。

第三个坑是"不当归类"。什么意思呢？就是把缺失数据归为某一种类型，然后当作有效数据来分析。比如调查用户的职业，选项有"学生""白领""蓝领""自由职业""其他"，有些人干脆不选，你就把他归到"其他"里。问题在于，"未作答"和"其他"是两码事。未作答的人可能是懒得填，可能是隐私敏感，也可能就是不知道该选哪个。而选了"其他"的人至少是看了题目、做了选择的人。把这两类混在一起，分析出来的职业分布就不准了。

第四个坑是"不做记录"。很多人在处理缺失数据的时候，填完就完事了，忘了记录填补的方法和依据。结果到后来，自己都忘了哪些数据是真实的、哪些是填补的，更别说别人看你的分析了。这种情况下，即使你的填补方法是对的，别人也无法验证结果的可信度。

不同场景下处理策略的选择

说了这么多方法论，最后我们来聊聊实操层面的问题：面对不同的分析场景，到底该怎么选处理策略？

我给大家整理了一个简单的对照表，可能会更清楚一些：

这个表只是一个参考框架，具体操作的时候还是要结合实际情况来定。最重要的一条原则是：处理缺失数据的方法，应该在分析开始之前就确定下来，而不是看到结果不理想之后再回头调整。事先定好规则，可以避免很多"为了得到想要的结果而调整数据"的嫌疑。

另外，不管用什么方法，都建议在最终报告里清清楚楚地写明白：你遇到了多少缺失数据，缺失的原因是什么，采用了什么方法处理，处理之后的结果会不会影响结论的可靠性。这不是给自己挖坑，而是专业的表现。读者看到你这么坦诚，反而会更信任你的分析结果。

写在最后

回过头来看，缺失数据这事儿其实没有标准答案。它不像数学题，1+1永远等于2。同样的数据，不同的人可能做出不同的处理选择，而不同选择可能导向不同的结论。这也是为什么数据统计工作既需要技术，也需要经验，还需要一点点职业操守。

康茂峰这么多年服务下来，最大的感触就是：数据质量永远比数据数量重要。与其抱着一大堆填填补补、心里没底的数据出报告，不如踏踏实实地把数据采集环节做好，从源头上减少缺失。但话说回来，完美的数据从来都只是理想状态，学会科学地处理缺失数据，本身就是数据工作者的基本功。

希望这篇文章能帮你对缺失数据的处理多一分了解。如果以后遇到相关的问题，至少知道该往哪个方向去思考。至于具体怎么操作，还是得结合你自己的数据情况来定夺。毕竟，数据是活的，方法也得跟着活学活用才行。