辛普森悖论的百度百科
当人们尝试探究两种变量（比如新生录取率与性别）是否具有相关性的时候，会分别对之进行分组研究。然而，在分组比较中都占优势的一方，在总评中有时反而是失势的一方。该现象于20世纪初就有人讨论，但一直到1951年，E.H.辛普森在他发表的论文中阐述此一现象后，该现象才算正式被描述解释。后来就以他的名字命名此悖论，即辛普森悖论。
辛普森悖论的案例
一个简单的假设案例
小明生了慢粒白血病，她的失散多年的哥哥找到有2家比较好的医院，医院A和医院B供小明选择就医。小明的哥哥多方打听，搜集了这两家医院的统计数据，它们是这样的：医院A最近接收的1000个病人里，有900个活着，100个死了。医院B最近接收的1000个病人里，有800个活着，200个死了。作为对统计学懵懵懂懂的普通人来说，看起来最明智的选择应该是医院A对吧，病人存活率很高有90%啊！总不可能选医院B吧，存活率只有80%啊。
呵呵，如果小明的选择是医院A，那么她就中计了。就这么说吧，如果医院A最近接收的1000个病人里，有100个病人病情很严重，900个病人病情并不严重。在这100个病情严重的病人里，有30个活下来了，其他70人死了。所以病重的病人在医院A的存活率是30%。而在病情不严重的900个病人里，870个活着，30个人死了。所以病情不严重的病人在医院A的存活率是96.7%。在医院B最近接收的1000个病人里，有400个病情很严重，其中210个人存活，因此病重的病人在医院B的存活率是52.5%。有600个病人病情不严重，590个人存活，所以病情不严重的病人在医院B的存活率是98.3%。
画成表格，就是这样的——
医院A：
|
病情 |
死亡 |
存活 |
总数 |
存活率 |
|
严重 |
70 |
30 |
100 |
30% |
|
不严重 |
30 |
870 |
900 |
96.7% |
|
合计 |
100 |
900 |
1000 |
90% |
医院B：
|
病情 |
死亡 |
存活 |
总数 |
存活率 |
|
严重 |
190 |
210 |
400 |
52.5% |
|
不严重 |
10 |
590 |
600 |
98.3% |
|
合计 |
200 |
800 |
1000 |
80% |
你可以看到，在区分了病情严重和不严重的病人后，不管怎么看，最好的选择都是医院B。但是只看整体的存活率，医院A反而是更好的选择了。所谓远看是汪峰，近看白岩松，就是这个道理。
这让人很抓狂。万一我们真的患上了什么病，又遇到了这种类似的情况，岂不是会让自己掉坑里？实际上，我们刚刚看到的例子，就是统计学中著名的黑魔法之一——辛普森悖论（Simpson's paradox）。辛普森悖论最初是英国数学家爱德华·H·辛普森（Edward H. Simpson）在1951年发现的。
辛普森悖论就是当你把数据拆开细看的时候，细节和整体趋势完全不同的现象。
从统计学家的观点来看，出现辛普森悖论的原因是因为这些数据中潜藏着一个魔鬼——潜在变量（lurking variable），比如在上面这个例子里，潜在变量就是病情严重程度不同的病人的占比。
最著名的辛普森悖论的实例-1973年加利福尼亚大学伯克利分校新生录取性别歧视案。
|
男生 |
女生 |
|||
|
申请人数 |
录取人数 |
申请人数 |
录取人数 |
|
|
合计 |
8442 |
44% |
4321 |
35% |
大家从表格里可以看到，如果只看整体录取率，那么男生的录取率是44%，女生的是35%。不求甚解的话，一般人肯定会得出这样的结论——女生被歧视了。打算申请这所著名大学的女生要是看到这样的数据，八成肺都气炸了。
别急，现在把上面的数据按照院系拆分，再来看看每个系的录取率。
|
院系 |
男生 |
女生 |
||
|
申请人数 |
录取比例 |
申请人数 |
录取比例 |
|
|
A |
825 |
62% |
108 |
82% |
|
B |
560 |
63% |
25 |
68% |
|
C |
325 |
37% |
593 |
34% |
|
D |
417 |
33% |
375 |
35% |
|
E |
191 |
28% |
393 |
24% |
|
F |
373 |
6% |
341 |
7% |
你可以看到，在6个院系的4个里，女生的录取率大于男生，女生只在2个院系里容易折戟。加利福尼亚大学伯克利分校的统计学教授 Peter Bickel 后来发现，如果按照这样的分类，女生实际上比男生的录取率还高一点点。
Bickel 认为，在这个案例中，辛普森悖论出现的原因是，女生更愿意申请那些竞争压力很大的院系（比如英语系），但是男生却更愿意申请那些相对容易进的院系（比如工程学系）。辛普森悖论真是太奇怪了。
经典的佛罗里达死刑悖论
1991年，科罗拉多大学的统计学家 Michael L. Radelet 和东北大学的社会学研究院主任 Glenn Pierce 重新查看了1976-1987年间美国佛罗里达州的谋杀案的审判数据，发现了重大的司法不公正事件。
从归总的数据来看，佛罗里达的法官在审判的时候并没有偏向白人，因为白人嫌疑人的死刑率甚至还比黑人高一些。
|
嫌疑人种族 |
死刑人数 |
非死刑人数 |
死刑百分比% |
|
白人 |
53 |
430 |
11 |
|
黑人 |
15 |
176 |
7.9 |
但是，如果按照被害人的种族来分割数据的话，我们就会看到很不一样的结果了——黑人比白人更容易被判死刑。
|
被害人种族 |
嫌疑人种族 |
死刑人数 |
非死刑人数 |
死刑百分比% |
|
白人 |
白人 |
53 |
414 |
11.3 |
|
白人 |
黑人 |
11 |
37 |
22.9 |
|
黑人 |
白人 |
0 |
16 |
0 |
|
黑人 |
黑人 |
4 |
139 |
2.8 |
现在你可以很明显地看出，不管被害人是什么种族，黑人比白人更有可能被判死刑。这还不算。分类后的数据显示，如果受害人是白人，那么嫌疑人就更容易被判死刑。如果被害人是黑人，嫌疑人被判死刑的可能性很低。种族歧视昭然若揭啊。
我们要怎样才能避免辛普森悖论呢？
不少统计学家认为，辛普森悖论的存在，让我们不可能光用统计数字来推导准确的因果关系。因为数据可以用各种各样的方式分类，然后再进行比较，所以理论上潜在变量无穷无尽，你总是可以用某个潜在变量得到某种结论。而且对于那些不怀好意的人来说，他们很容易对数据进行拆分或者归总，得到一个对自己有利的指标，从而来迷惑甚至操纵他人。医学和社会学的研究者也常常会遇到辛普森悖论，从而得出错误的结论。
辛普森悖论的重要性在于它揭示了我们看到的数据并非全貌。我们不能满足于展示的数字或图表，我们需要考虑整个数据生成过程，考虑因果模型。一旦我们理解了数据产生的机制，我们就能从图表之外的角度来考虑问题，找到其它影响因素。
大部分数据科学家并没有学习因果思考的模式，而这种思考模式对我们而言至关重要，因为它能防范我们从数据中得出错误结论。除了使用数据，我们需要运用经验和业务知识，或者向专家学习，来更好地进行决策。
数据是一个有力的武器，它既能被用来澄清现实，也能被用来混淆是非。