glsvs
?在前面的最小二乘法讲解中 （ 回归分析中的问题和修正的探讨（下篇） ， 最小二乘法的6个假设 (中篇) ）， 有遇到广义最小二乘法GLS 、2阶段最小二乘法2SLS、和工具变量IV 。这里探讨一下，这三个方法在某些情况下的等价性 。
引言
数学背景好的GLS
Alexander Aitken 是新西兰伟大的数学家，在1935年，他是爱丁堡大学University of Edinburgh的博士，当时就研究数据的平滑 Smoothing of Data，?之后搞精算数学和统计 。广义最小二乘法GLS就是他发明的 。
经济 统计的IV
Philip Green Wright 在1928年就阐述了基本思想，用在回归方法论上，但是知道1945年才被 Olav Reiers?l，一个挪威的经济学家，在他的博士毕业论文中，正式用来定位为处理变量误差的经典方法 。
Wright毕业于Tufts College的本科，哈佛的经济学博士，后来又回到Tufts当社会经济学教授 。?Tufts特意收集了他的照片墙 ， 来纪念他发明了工具变量 。
经济基因的2SLS
2阶段和3阶段最小二乘法 2SLS/3SLS都是经济学家 Henri?Theil 发明的（1953年和1962年） 。Theil是荷兰乌特勒支大学Utrecht University发物理出身的 ， 战后1951年在阿姆斯特丹大学University of Amsterdam转学经济 。年轻的时候超级帅 。
他有句名言 ， 就是模型是被用的，而不是被信的 。
所以，按发明时间来说 ， IV最早被发明(1928年)，GLS其次(1935)，而2SLS是最晚的(1953) 。可能跟线性代数的发展历史有一定关系 ， 是因为IV建立在相关性基础上， 但是GLS需要方差矩阵表示的发展，而2SLS需要线性方程组的发展基础 。所以说线性代数在经济和统计的学习中也很为重要 。
IV 形式
一般情况下工具变量的要求就是和误差不相关：
还可以进一步宽松到(Z^T)X伪逆的情况下：
2SLS 形式
第一阶段：
第二阶段，先在X估计上按OLS计算 ：
根据第一阶段的结果，带入X的估计值：
化简 ， 得到不含X估计值的表达式：
流程总结如下：
IV 等价为 2SLS
先看一下， 推导过程中的变化，从IV到2SLS：
其中这里面出现的Pz是投影矩阵，具有如下性质：
是不是有点像单位矩阵的性质？对的，这就是投影矩阵 。
从图形上理解，由于E(XU) = 0 不成立 ， 所以需要投影到垂直的方向上去，一种方法是直接找一个工具变量去做，好比找到一个垂直的面，然后随便确定垂直面上一个，而另外一种方法，就是先找到一个投影矩阵先， 然后再投影得到这个变量 。
那么这两种方法有什么本质的差别么？
有的，工具变量方法(Z^T) X 并不是方阵的时候，也就是两者Rank可能并不一致的时候，那么这时候两阶段2SLS依然可以使用，存在一个寻优的过程 。
如果一致的情况下， 那么IV和2SLS没有本质的区别 。? 其实，这也可以看成是矩估计MME和广义矩估计GMM的差异 。如果这么来说的话， 那么2SLS可以看成是IV的一种泛化 。
2SLS等价为GLS
从形式上，2阶段最小二乘法很容易看成是广义最小二乘法 。但是，这是有要求的，但是含义却完全不一样了 。
不过，对于自相关的情况下，
变换到如下形式后，计算2SLS还是可以的 。
这种情况下，两者是等价的， 只是最后在2SLS里面投影完成后的效果，和GLS里面标准化之后的效果是一致的 。
但是两边的X的内容已经完全不一样了 ， 在2SLS里面是变换过后的X了 。
小结：
所以， 一般情况下，尽管2SLS 和 GLS 形式上非常类似， 但是其实解决的问题还是蛮不一样的，2SLS和IV形式上有差距， 但是解决问题还是蛮一致的 。?另外也凸显了2SLS强大的能力 。
我们通过引入IV、GLS、2SLS的等价性变换的讨论，让大家更深入了解这些工具的特征 。
关键词：
Instrumental Variable
Generalized Least Square
2 Stage Least Square
Alexander Aitken
Philip Green Wright
Henri?Theil
相关话题：
最小二乘法的6个假设 (上篇)
最小二乘法的6个假设 (中篇)
一步一步走向锥规划 - 最小二乘法
最小二乘法的4种求解
回归分析中的问题和修正的探讨（上篇）
回归分析中的问题和修正的探讨（下篇）
评价参数估算的常用指标
最大似然估计的2种论证
Z-Test vs T-Test vs F-Test vs χ2-Test
特征选择， 经典三刀
数据变换
Lasso简史
信息熵的由来
“66天写的逻辑回归” 引
乔丹上海行
随机眼里的临界
参考：
https://ase.tufts.edu/economics/news/highlightsWright.htm
http://ajbuckeconbikesail.net/notes/sysestimat/sysestimat.HTM
事实上这2款汽车，是不存在可比性的 。因为大家都知道，起亚汽车本身就是现代汽车集团下属的品牌 。
而起亚智跑 ， 和现代IX35，其实是“同底盘、同发动机、同变速箱”的产物 。说白了，这2个车其实是“同一款车 ， 但外壳造型不同，悬挂的品牌不同” 。都是韩国现代集团的车型 。
【glsvs】因此这2款车要选择 ， 相对也很简单：最后不外乎就是“外观的喜好来选择” 。
推荐阅读
- 说一说统一老坛酸菜牛肉面的简介 统一老坛酸菜牛肉面
- 车打蜡能保护漆面吗
- 电热水器里面的水怎么放干净
- 汽车后面的字怎么祛除
- 科鲁兹后刹车分泵上面的调节器是干什么用的
- 卢伟冰：小米豪车志在前三，纯电豪华轿车市场将迎新篇章
- 瓷砖掉瓷怎么修补 瓷砖表面的釉被磨掉了怎么修复
- 超好吃的12种意大利面做法「意面的做法大全」
- 凉面的做法及调料配方怎么做
- 焖面的4种做法，焖面有哪些做法