主题：【原创】经济学的经验研究方法 -- Dracula
家园 谢谢，已经改正。
家园 我感觉我们讲的是两回事 endogeneity这个词有很多含义。即使在经济学里endogeneous growth theory中的endogeneous也指的是截然不同的两回事。我这篇文章里的endogeneity指的是统计学的问题，我觉得和哲学以及人工智能实在没有什么关系。医学研究的randomized experiment方法对经济学经验研究有很大的影响。我文章里提到好几次，象treatment,control这些术语也是从医学里借来的。但是医学主要研究方法是实验，它用来解决这个问题的一些方法在经济学和社会科学里不适合。
正规的经济学论文里用严格的统计学的框架来讨论endogeneity的问题。这是篇介绍文章，加一堆数学公式没必要。
家园 定义endogeneity 我觉得大家还是把endogeneity各自定义一下，否则可能很难说清楚。
家园 如果说统计学的话,那其实就真的是一回事了 Randomized Trial只是医学中的一种特例.一般化的理论用于处理观察性研究.哲学是从1950年代法国人Lewis开始讨论这个问题,AI是80年代开始应用.多个学科各自在相对接近的时间里相对独立地发展出了同样的理论体系.具体可参见Judea Pearl的Causality
家园 经济学也在50年代就意识到这个问题了 50年代Cowles Foundation的重要研究成果之一就是关于simultaneous equation系统的研究。Trygve Haavelmo
因为在这方面的研究获得诺贝尔经济学奖。现在使用的统计方法象Instrumental Variable，2SLS，包括natural experiment的思想都是那个时候发展起来的。Regression discontinuity也是1960年由统计学家发展出来的，不过在经济学研究中的应用要直到90年代末。一些人认为在80年代末，90年代初经济学经验研究发生了一场革命的原因在于这之前，经济学经验研究的标准很低。许多文章很明显有endogeneity的问题，换到今天连博士课term paper都不一定过，却发在最好的杂志。从八十年代末之后，经验研究的可信度有了很大的提高。但是这也带来了一些其他的问题。我后面会提到。
另外经济学家关心的是解决这个问题的实际方法，我还是觉得哲学思辨和人工智能的研究对这个问题的实际解决没什么帮助。
家园 不是学科 而是在这两个学科里面的人提出了一般化的理论系统。
endogeneity问题的终极是causal inference是否能够成立，其实到最后仍然是一个哲学问题。Judea Pearl是研究AI的，但是研究过程中也不可避免地遇到了相同的问题。这就是殊途同归。
最后，经济学所谓的解决问题的实际方法，正是哲学思辨开始，研究人工智能的人提出了实际的解决，当然，提出相同解的人得了诺贝尔纪念奖，很多人就以为这是唯一解了。
家园 【原创】Diff-in-Diff Difference-in-Difference是比较早的reduced-form一种方法。有人称Diff-in-Diff是Natural Experiment。我后面用Natural Experiment指更严格的更接近随机实验的设计，因此用法有些不同。Diff-in-Diff具体指什么，接下来举几个具体例子。
劳动经济学里争论比较激烈的一个问题是最低工资对失业率的影响。就最基本的经济学原理来说，最低工资如果很高，劳动力市场供给会大于需求，会大大增加失业率。现在美国的最低工资是7.25美元，我们可以想象一下，如果增加到30美元，很多企业会关门或削减员工，失业率会大幅度增加。但是在现有水平上将最低工资增加一点，比如增加到8美元对失业率的影响有多大却不是很清楚。我们需要用经验数据来研究增加最低工资对失业率的实际影响。一个办法是在美国联邦政府增加最低工资后比较失业率的变化。比如2007年Fair Minimum Wage Act将最低工资由5.15美元升为7.25美元。但是影响失业率的不仅有最低工资，还包括很多宏观经济的因素。因此我们不能因为过去3年美国失业率大幅度增加就作结论说这都是增加最低工资的结果。用医学实验研究来做个类比，我们需要两组，一组是treatment组，最低工资增加，一组是control组，最低工资不变。然后比较这两组失业率的变化。David Card和Alan Kruger注意到1992年新泽西最低工资由4.25美元升为5.05美元，而临近的宾西法尼亚最低工资不变。宏观经济因素对两个州失业率的影响应该是相似的。因此他们搜集数据计算新泽西和宾西法尼亚在1992年11月到12月之间快餐业就业人数的变化（第一次difference），然后再比较这两个difference的差别(diff-in-diff)。他们的结果是最低工资的增加增加了快餐业就业人数。不过这个结果是statistically insignificant。他们的结论是最低工资对就业人数没有影响。（这项研究很有名，对它的批评也很多，河友感兴趣的可以找论文读一下。）
由于美国是联邦制，许多制度各个州都不一样，这就给了经济学家使用Diff-in-Diff方法提供了很大的方便。这方面比较早论文还包括Jonathan Gruber研究childbirth mandate的文章。1970年以前，美国政府不要求雇主提供的医疗保险包括妇女生育。在70年代，23个州要求雇主提供的医疗保险包括妇女生育，1978年联邦法律通过所有的州都要求childbirth mandate。额外的保险增加了雇主雇佣女性的成本，因此经济学家对childbirth mandate对女性就业人数和工资的影响很感兴趣。。Gruber就将这23个州作为treatment组，另27个州作为control组。比较两组女性工资和就业人数变化的差别（diff-in-diff）。由于这23个州可能同那27个州也有不同，他又加了一个diff，比较这两组男性-女性工资差别的变化，（diff-in-diff-in-diff）。他的结论是由于childbirth mandate，女性工资下降了4.3%，但是就业人数没有变化，因此childbirth mandate导致的成本的增加基本上由女性工人承担。
另外一项很有名的使用diff-in-diff方法的研究是2001年John Donahue和Steve Levitt研究堕胎政策对犯罪率影响的论文。美国的犯罪率从90年代开始大幅度下降，具体原因我们现在也不是很清楚。Donahue和Levitt注意到七十年代美国开始实行堕胎合法化，他们将这两者联系起来，假设是堕胎堕掉的是父母不想要的孩子。如果堕胎非法，这些孩子出生，这些孩子父母对他们的关心会相对较少，他们选择犯罪的可能性会更大。因此70年代的堕胎合法化导致了90年代的犯罪率降低。但是很明显还有很多其他因素在70，80年代变化影响犯罪率。因此他们采用diff-in-diff的方法。1970年美国有5个州率先将堕胎合法化，其余的州在1973年Roe vs. Wade之后才将堕胎合法化。因此他们使用diff-in-diff的方法来分析这个政策变化对90年代犯罪率变化的影响。他们发现这5个州的犯罪率率先下降，再加上一些其他分析，结论是美国犯罪率下降的很大一个原因是堕胎的合法化。
这可能是Steve Levitt最有名的文章，在美国由于对堕胎的争论，格外引人注目。他获得John Bates Clark Medal这篇文章起了很大的作用。但是2005年Foote和Goetz复制他们的研究却得不到他们的结果。在检查他们的程序后发现有错误。因此他们文章里有的结果其实是错的。现在一般的看法是数据并不能证明堕胎合法化降低了犯罪率。原因在于最早堕胎合法化的那5个州Hawaii，Washington，Alaska，California和New York同其他的州有很大的不同。80年代crack cocaine吸毒有关的犯罪最厉害的也主要就是这几个自由派的州。随着对crack cocaine的控制，90年代这几个州犯罪率下降也最大。因此这5个州犯罪率率先下将同堕胎合法化无关。
这个例子也说明diff-in-diff的方法只是quasi-experiment。它的结果要有说服力，我们必须要说服读者各个州采用不同的政策是由于随机因素，同我们想研究的对象没有关系。在很多情况下，要想做到这一点并不容易。因此，diff-in-diff方法的结果并不总是让人信服。
元宝推荐：老马丁, 通宝推：万里风中虎,王敏,家园 我听Richard Blundell说, Steve Levitt另一篇非常有名的家长接孩子的那篇文章也是数据上做假的。别人调查同样的数据，不能复制他的结果，发现Steve Levitt把数据中不符合他理论的数据都删除了。
所以，当一个Bayesian（比如说千里烟波河友）说经济学是一种艺术的时候，是对的和可以理解的。
而当一个象Steve Levitt这样的frequentist说经济学是一种艺术的时候，实际上是表明他数据造假了。
呵呵，魔鬼经济学把他也变成魔鬼了。
家园 是否作假不能确定 如果我们的结果同我们假设不一致，我们会回过头来反复检查程序，看是否有错误。结果如果和假设一致，检查会粗率的多。因此错误也可能是无心的。不过Levitt被人发现论文出错的时候比较多。当然也可能是因为他的论文有名，复制的人很多。
他那篇用选举周期作为警察数量instrument的论文也被证明是错的。我本来写IV那篇想举这个例子。但是又一想净举错的例子会让大家对经济学有不好的印象，因此就换了别的例子。
Acemoglu那篇文章也有争论，David Albouy认为他们是data mining。我觉得Albouy说的有道理，不过我整体更倾向于Acemoglu的意见，因此文章里没提。
家园 非常有价值，翘首以待！