主题：投票【原创】辛普森悖论 -- earthcolor
- 投票信息
单选，参与 19 / 9
04/2011/504/200/0
家园 【原创】辛普森悖论 辛普森悖论已经在老马丁的帖子中讲到了【原创】老马丁胡侃统计之二： 生活中的几个概率统计问题了。这里是一个实际的例子，我们每个人都有可能碰到。我很早就想来一个投票，现在终于等到认证通过了，可以消费自己的通宝，看看大家对辛普森悖论的投票。
有一个故事，可能是Judea Pearl 讲的，很能体现辛普森悖论的要点：只说有一个研究小组，研究中学生的智力。他们的发现如下，挺有意思的。
1） 第一步：他们发现抽烟的学生成绩比较好。结论：应该鼓励孩子们抽烟。
肯定有人说这结论不对了：有人抽烟那么多，也没看到他聪明。
2） 第二步：于是，研究人员加入了另一个变量：年龄。研究人员发现，抽烟的学生一般年龄比较大。如果在同一个年龄，不抽烟的学生成绩比较好。结论：不能让孩子抽烟
烟草公司现在不乐意了：中学生可是我们烟民的未来，没有了他们，以后我们的烟卖给谁。
3） 第三步：于是，研究人员又加入了另一个变量：肤色（黑人和白人）。结果发现：同一年龄，同一肤色的中学生，抽烟的学生成绩比较好。结论：应该鼓励孩子们抽烟。
又有人说，这个没有道理呀。
4） 第四步：于是，研究人员又加入了另一个变量：家庭经济情况。结果发现：同一年龄、同一肤色、同一家庭经济情况的中学生，不抽烟的学生成绩比较好。结论：不能让孩子抽烟
这个序列可以一直列下去，根据这些特征，最后有可能就找到一个特定的人：他的成绩好或不好。但是，抽烟到底对智力有什么影响，可能是仁者见仁，智者见智了。
好了，讲了这些，回到我们要投票的内容上：话说市场有两种治疗某种疾病的药A和B（没有其他选择），统计结果显示：对整体测试人群（不分男女），A比较有效。但是，如果将测试人群中的男性和女性分别考虑，B无论单独对男性还是对女性都比较有效。请问：你作为医生，来了一个病人，你会选择哪一种药？
本帖一共被 1 帖 引用 (帖内工具实现)家园 楼主,男人群和女人群之外,双性人比例多高啊? A 不区分性别有效
B 分别对男人和女人有效
那就只能问楼主的样板里,双性人占据多高的比例了........
这个似乎不是悖论,而是诱骗.
家园 哇，视角独特！大家怎麽从来没想到这个？ 家园 楼主哎,给个答案的回话呀? 原题怎么个悖论法呀?至少说下原解答怎么个说法呀.
4年1度的日子里,特别高兴踩个脚印,好象当年风景区用破刀子刻个"XX到此一游".呵呵
家园 据我所知，目前没有普遍接受的答案 Judea Pearl的解释比较流行：在具体统计应用中，不要将统计中的相关关系和实际系统的因果关系混淆起来。这种解释的问题在于：在很多实际系统中，我们不知道系统中变量的因果关系，而是要通过统计，试图发现因果关系。Judea Pearl要求我们已经知道结果了，统计实验也就没有必要去做了。如果我们不知道系统中真正的因果关系，辛普森悖论在统计数据中的存在，就要引起大家的争论。
我认为，辛普森悖论的要点在于：增加了新的变量，统计的结论可能会相反；而加不加新的变量，大家很难达成一致的认识。有的情况，加一个特定的变量可以被大家接受，但这不代表这种解决方案适用于所有存在辛普森悖论的情况。因为，再加入一个变量，又会改变统计的结论，就像在投票说明中讲的那样。
有很多研究人员从概率、统计和哲学方面考虑这个问题。google搜索一下，会有不少资料。英文是：Simpson's paradox
中文维基
http://zh.wikipedia.org/wiki/%E8%BE%9B%E6%99%AE%E6%A3%AE%E6%82%96%E8%AE%BA
英文维基
http://en.wikipedia.org/wiki/Simpson%27s_paradox
家园 谢谢.至少您给的这个例子很有趣 至于那个学生吸烟与学习成绩关系的例子,大概是不完备.增加二分类项,就要按总分类数2^N来建立结果分析表.如白人黑人,大于或小于15岁,吸烟或不吸烟这三分类,结果要有8项,
白人大于15岁吸烟
白人大于15岁不吸烟
白人小于15岁吸烟
白人小于15岁不吸烟
黑人大于15岁吸烟
黑人大于15岁不吸烟
黑人小于15岁吸烟
黑人小于15岁不吸烟
并将实际数据统计完毕后,才可以得到结论.
或许是对您的例子理解不正确,但这例子若按这8细目进行统计,会得到比较稳定的结果吧.
家园 根据Judea Pearl的说法 如果吸烟和学习成绩之间本没有因果关系，根据统计数据来推论吸烟和学习成绩之间的关系，可能得出各种不同的结论；而各种结论，与“吸烟和学习成绩之间本没有因果关系”这个条件之间没有关系。也就是说，我们根本不需要去做这种统计测试。在学生入学中有没有歧视女生的例子中，决定入学的主要条件是成绩（成绩和录取率之间有因果关系）。如果只谈论男女生的录取率，而忽略成绩，讨论就没有意义了。
问题是：我们很难确定地说“吸烟和学习成绩之间本没有因果关系”。根据我的理解，这就是有了Judea Pearl对辛普森悖论的解释后，依然没有解决在实际应用中的问题.
另外，有些问题中，增加新的变量是不合适的。参见英文维基
http://en.wikipedia.org/wiki/Simpson%27s_paradox 中的编辑的例子。所以，不能单纯地增加变量的方法解决辛普森悖论。
家园 您那个性别歧视的例子,若换作城乡似乎更有趣 您的那个性别歧视的例子很好,某似乎明白了这个悖论的意思了.
录取学生没有性别歧视,只考虑成绩.若从录取的学生中进行性别比例分析,不能得到男女智力差别之类的结论.只有对录取男女学生分别统计分数才能得到类似(性别对专业的适应性)的结论.
若换作城市和乡村的学生录取,没有居住地的歧视,只考虑成绩.若对录取学生进行城乡比例的分析,不能因此得出城市或农村学生哪类更聪明的结论.只有对城乡学生分数分别统计再对比,才能有比较有用的结论.
不知理解对否.最后的判断是,任何统计最好有尽量多的记录参数.......呵呵,有了更多的数据项及其原始数据,就更容易用各种分析手段获得有效结果了.
家园 “疗效好坏”是如何比较的呢？除了平均值？考不考虑标准差？ 和平均值如何综合考虑的呢？
家园 没给标准差，你的统计没有意义 没有什么悖论不悖论。因为你完全没有给出统计的偏差。只给一个平均值意义不大。
假设把分类进行到底，一个人一类，酒香你说得那样，那标准差和样本差不多一样大，根本这种统计就没有意义。对于抽烟的研究也一样，每多进行一步分类，95%可信度的区间也就越大，研究结果也就越不可信。究竟到哪一步就完全不可信，并没有一个硬性的划分，但是每一步都更加不可信几乎是一定的（除非成绩大跃进地提高，那么根据我高考前的经验，抽烟确实比较好。。。。）
对于药效，不光有置信度，还要考虑副作用，问题就更复杂了。所以你的问题的标准答案应该是：信息严重不足，吃哪种就看谁给开回扣了。比如最近闹得很凶的降血脂药，一月底的时候公开了一个为期五年的临床试验结果，发现Vytorin，也就是simvastatin和Zetia的合剂，降血脂(LDL)的效果比单吃simvastatin要好很多。但是降血脂的同时，心脏病发病率不但没有下降，死亡率反倒有所上升。而药品公司推动降血脂药的唯一目标就是预防心脏病死亡。这个结果被药厂藏了一年，但在压力之下还是不得不公布。股价跟心脏病发病率是负相关，那就不要提了。其实其他所有的降血脂药，包括Liptor都有这个死穴——LDL是降了，但是死亡率完全没有变化（只对已经得过心肌梗塞半死不活的病人有疗效）。究其原因，药品不光要考虑临床试验的疗效（降脂），临床试验的标准差，也要考虑这个疗效的绝对值（number needed to treat），最后要归结到实际对死亡率的降低/生活品质的提高。
我来考虑一下这里要不要挖个坑。。。
那个叫做悖论的东西，没有给样本大小，也没有给疗效的绝对值，是辛普森扯淡不是悖论。
家园 赞同 我也认为应该称为辛普森谬误。楼下举的几个例子，如果从采样空间的先验概率分布看，是很容易理解的。
所以做统计时不应该只看均值，还需要考虑样本分布的情况。比如男女生入学比例的那个问题，各个学院的录取率相差很多，样本分布是multi-model,均值代表不了什么，一算p-value就说明问题了。
家园 要求挖坑。很有意思，虽然和earthcolor的本意不完全一样 家园 本来想卖个破绽趁机溜掉 铁老大都说话了面子不能不给。那我写一个，写一个啊。
家园 欢迎挖坑！把统计偏差的影响多讲些 就我所知，到目前为止，辛普森悖论还没有被普遍接受的解释。所以很适合讨论。
对于统计偏差在辛普森悖论中的影响，我真不清楚。
看看东方射日:不对啊，老酒。中的例子，好像数据扩大10倍或100倍，都不影响这样的情况：当加入一个新的变量，分析结果可能完全相反。
你的帖子中关于降血脂药的例子，只是说明血脂和心脏病发病率之间没有一个简单的线性关系，而且其他因素会影响心脏病发病率。药品公司肯定知道他们商品的缺陷，却用一个中间变量(血脂含量)来代替最终变量进行统计分析，用数据故意误导消费者。这个例子没有选择正确的因变量。
在辛普森悖论中，问题是自变量的变化，会影响分析结果。