八个经典案例诠释数据也会说谎

说到数据，首先会想到用户调查，即选定特定用户群体进行用户问卷调查，然后将所有调查结果汇集成用户数据，作为产品设计的依据，但事实是：这些数据和结果都是正确的吗？哪些数据有误导性？哪些数据有限定条件？哪些数据不可以比较？本次分享通过八个经典案例告诉大家如何解读这些数据，如何看透数据的真相！

案例一：调查对象样本的代表性

1936年《青年文摘》对美国总统大选的结果进行预测，结果失败，问题出在调查方法上（调查对象是其读者，调查方法为电话调查）。1936年有能力购买电 话和订阅杂志的人并不能代表所有的选民，至少在经济上，他们是一个极其特殊的群体，是有偏的，事实后来证实他们有许多人是共和党的选民。但是如果调查选择 的样本是代表性的，能代表全部选民那么调查就能得到准确的预测结果。

盖洛普为什么预测美国大选的结果很准确？他们采用抽样调查方法，在全国各州按比例选择调查对象对总体有很强的代表性 。

案例二：样本采集量是否足够？

我们来调查“喜欢大番茄的人多还是小番茄的人多”，究竟调查10个人、20个人还是100个人得出的结论是准确的呢？我们选择多少个人作为调查对象，即需 要多少个样本量的决定因素有很多，总体的大小，总体内部的变异程度等等。总体的大小很容易理解，调查全市市民和调查一个班级哪个需要的样本量大呢？显然是 前者。至于总体内部的变异程度，举个例子，如果总体只有100个人且这100个人差异不大，或许十几个样本就已经足够了，但是如果这100个人每个人差异 性都很大呢？是不是要选取更多的样本才能更真实反映100个人的情况呢？

举一个用研的例子：对于整个淘宝网买家的调研，基本上我们要保障1500的样本量，而对于某一类目卖家的调研可能几百就足够了（比如机票等类目卖家较少）。

PS：抽样经验：1500以上的样本量基本就能很好地代表总体，无论总体有多大。

案例三：涉及到敏感、隐私话题

对于一些敏感、隐私的话题，被调查者对于你的提问可能不会反映最真实的情况。如果采纳这些不真实的信息，会使得调查结果不准确，比如图中询问“您更喜欢阅 读哪本杂志？”，可能有很多人明明更喜欢阅读《东周刊》却选择《凤凰周刊》，原因在于担心选择前者可能会被大家认为是一个喜欢偷窥隐私的人。因此对于敏感 隐私的话题，不必面对面调查，可以采用集体填答问卷的形式或者电话调查的方式，并且说明我们的保密原则，结果就会好很多。另外有些隐私话题不用直接询问， 可以从不同角度确认这些信息，例如询问“每月您的消费支出水平”，我们可以通过询问“购买哪些品牌的衣服”“经常去哪儿就餐”等问题从侧面收集资料。

案例四：平均数的致命陷阱

假设你是某个小型制造企业的3个合伙人之一，到了月底给企业的90个职工发了99000元，你和合伙人每人共获得5500元的工资，最后还余下21000 元作为利润可供你们3个合伙人平分。你会选择哪一种表述公示呢？ 肯定是后者，因为显得收入分配更公平，但其实每个人拿到的钱还是和前者一样。因此需要特别注意这些平均数背后的真相。

国家统计局发布《2009年国民经济和社会发展统计公报》，其中称“70个大中城市房屋销售价格上涨1.5％”，数字公布之后，引起了代表委员和社会舆论的广泛质疑。从数字看起来房价上涨很少，但为何与我们的感受不一致，主要原因还是在于平均数，这一数字对房屋种类、地区、地段、楼层、朝向、时点等因素而差异较大的样本进行综合平均统计，过度消除了价格变化。

统计局公布1月CPI数字，因为春节假期央行再度加息，市场曾预期1月CPI必将再创新高，甚至有望接近6%数字，可实际数字4.9%却让人颇为意外。原 因就是统计局CPI统计的新权重：居住类、医疗保健类、娱乐教育文化类价格权重上升，食品类权重下降。而食品类价格却是百姓感受最明显的一个指标，因此平 均时权重差异也使得我们感受与数字之间产生差异。

案例五：一样的数据，but,不一样的图形

为了让没有直接接触数据的人也能直观地感受到其中的一些信息，人们发明了各种各样漂亮的统计图表。但是就是“客观”的图表里面也存在着各种各样的陷阱。在制作统计图表时，一个常用的欺骗手法便是改变统计图形的坐标尺度，从而改变了整个图形的增长趋势或是陡峭程度。

天平两侧的图是用同一组数字绘制的，只是改变了纵坐标的刻度范围，却使得两幅图看起来具有完全不同的增长趋势。

此图反映了某年9月27日某时的黄金价格走势。上面两幅图描述的是相同时间段的黄金价格走势，显然，左边的金价急升更容易让人产生激动的心情。即使标出了横纵轴的刻度，这两幅图给普通人留下的第一印象也大不一样。

案例六： 结论的使用范围以及限定条件

对于这一则广告，从广告词来看，此感冒药效果很好，但是在这里我们需要问两个问题：在人的喉咙里会不会发挥作用？这些细菌是感冒细菌吗？显然如果广告词没 有标明结论的限定条件，我们并不能就此认为此感冒药到底有何效果。因此我们特别要关注有些结论的限定条件，并不是所有条件下结论都成立。

正是由于结论受到很多条件的限制，我们在调查中如果要得到较为稳定的结论，则需要探究一些较为稳定的现象。用户的行为经常在发生变化，如果我们仅仅是关注用户的行为，可能我们要不停地去做重复的调查，但是除了行为外，其实很多用户需求层面的 东西是比较稳定的，我们的调研也会重点关注这些方面，行为会变但是需求层面的东西会比较稳定，因此我们不会仅仅设计一些很操作层面的问题，拿酒店频道举 例，我们不会只提问“您为什么在查询之后预订我们的酒店”，我们还会询问“您经常去哪些渠道预订酒店”“您经常住哪一类型的酒店”等等，从各个方面去看用 户最内在的需求。

案例七：口径不同的数字不具备可比性

如果告诉图中所示信息，你肯定会认为美国海军的死亡率低于纽约市民。但是大家想一下：美国海军与纽约市民的年龄结构是一致的吗？海军都是青壮年而纽约市民 中很一部分是死亡率极高的老年人，这两个人群的死亡率可以比较吗？显然是不行的。国家统计局公布2009年上半年，中国城镇单位在岗职工平均工资为 14638元，与上年同期相比增加了1674元，增长12.9%。有网民称，统计数据与自己的收入不符。为何数字公布与网民感受不符呢？关键在于纳入国家 统计局口径的不是所有劳动人口，而是城镇国有单位、集体单位和股份合作、联营、有限责任公司、股份有限公司、外资和港澳台商投资单位的员工，不包括私营单 位、个体工商户和灵活就业人员，而往往低收入人群广泛存在于漏掉那部分人群中。因此在看到一个统计结论时一定要仔细辨清其统计口径。

案例八：真的是因果必然联系吗？

如果给出全班所有成员的成绩，又给出是否抽烟的情况，你发现抽烟的学生成绩都比较差，你是否就能得出“抽烟导致低分”的结论呢？抽烟与低分之间可能还有性格、家庭等各方面的因素。两个变量一起变动只能代表他们相关但不能代表他们是因果关系。

此图给出了两种很容易被我们误解为A与B之间有因果关系的情况，虽然A与B同时变动，但是他们的变动都是由Z引起的，而不是本身的因果关系，这样的情况我们需要特别注意。

总结以上八个案例，特别提示大家注意以下问题：

根据抽样得出的结论一定要采用具有代表性的样本 在样本量足够时误差才会较小，结论才会可靠 对敏感隐私问题需要多方验证 看到平均数时首先问问是平均了什么？ 同一种数据的不同展现方式带来的陷阱 大部分结论都有其限定条件和适用范围 口径不一致的数据不能拿来比较 两个数字同时变化并不能用于说明因果关系

如果在看到很多数据以及结论的时候想到了以上八个问题，并且在心中回答出以下四个问题：“研究方法科学吗？”、“表达方式有误吗？”、“这些数字可以比较吗？”、“结论有限定条件吗？”，那么恭喜大家已练成了火眼金睛，不用害怕掉入任何数字的陷阱了，哦，是绝多数陷阱而已！

路漫漫其修远兮!