上课材料之九
上课材料之九详细内容
上课材料之九
第八章 古典线性回归的大样本理论 迄今为止的讨论涉及了最小二乘估计量的有限样本性质。根据非随机回归量和扰动项 正态分布这两个假设,我们知道了最小二乘估计量的精确分布和一些检验统计量。 在本章中,我们去总结前一章关于最小二乘法的有限样本特性,然后我们重点讨论古 典回归模型的大样本结果。 第一节 最小二乘法的有限样本特性 古典回归模型的基本假设是 Ⅰ.y=Xβ+ε。 Ⅱ.X是秩为K的n×K非随机矩阵。 Ⅲ.E[ε]=0。 Ⅳ.E[εε′]=σ2I。 未知参数β和σ2的最小二乘估计量是 [pic] 和 [pic] 通过分析 [pic] 并且 [pic] 我们可得下列精确的有限样本结果: 1. E[b]=β(最小二乘估计是无偏的) 2. Var[b]=σ2(X′X)-1 3. 任意函数r′β的最小方差线性无偏估计量是r′b。(这就是高斯—马尔科夫定理) 4. E[s2]=σ2 5. Cov[b,e]=0 为了构造置信区间和检验假设,我们根据正态分布的假设 [pic] 推导额外了的结果,即 6. b和e在统计上是相互独立的。相应的,b和s2无关并在统计上相互独立。 7. b的精确分布依赖于X,是[pic]。 8. [pic]的分布是[pic]。s2的均值是σ2,方差是2σ4/(n-K)。 9. 根据6至8结果,统计量[pic]服从自由度为n-K的t分布。 10. 用于检验一组J个线性约束Rβ=q的检验统计量 [pic] 服从自由度为J和n-K的F分布。 注意,利用I至IV建立起来的b的各种性质和根据扰动项更进一步的正态分布假设而得 到的额外推断结果之间的区别。第一组中最重要的结果是高斯—马尔科夫定理,它与扰动 项的分布无关。根据正态分布假设得到的重要的附加结果是7、8、9、10。正态性没有产 生任何额外的有限样本的最优性结果。(没有得出额外的有关统计量好坏的结论) 第二节 古典回归模型的渐近分布理论 为什么要用大样本理论? 在OLS的方法中,我们如果用数据得到的wald统计量: [pic]~[pic] 通不过检验,即假设[pic]不满足,这样的话我们就不能用OLS完成相关的假设检验问题 ,所以我们要用到中心极限定理:在n足够大的情况下,Y 和 [pic] 都服从正态分布。这样,相应的判别估计量好坏的方法和标准要捉相应的调整,其中重 要的概念是一致估计量。虽然估计量有可能相同,但我们关心的是他们的一致性,而不 是无偏性。 所以我们要区分那些结论是可以在没有正态性的假设下仍然成立的,利用这些条件来 推断最小二乘系数估计量的一致性。 对于满足I到IV假设的模型,可以直接推导大样本最小二乘估计量的特性。 最小二乘系数向量的一致性 复习:依概率分布 定理 从具有有限均值μ和有限方差[pic]的任何总体中抽取的随机样本的均值都是μ的一个一致 估计量。 证明:[pic],所以,[pic]依均方收敛于μ,或[pic]。 斯拉茨基定理(Slutsky) 对一个不是n的函数的连续函数g(xn),有 [pic] 假设 [pic] 是正定矩阵, (1) 这个假设在大多数时候是不过份的,考虑一元的情况: X=[pic] [pic] (我们知道,p[pic] p[pic]). [pic] which is positive definite as its principal submatrices all have positive determinants. 最小二乘估计量可以写成 [pic] (2) 假设Q-1存在,因为逆矩阵是原矩阵的连续函数,我们得到 [pic] 现在我们需要最后一项的概率极限。令 [pic],其中[pic],为[pic]的列向量 那么 [pic] 且 [pic] 因为,X是非随机矩阵,所以 [pic] 且 [pic] 于是可得 [pic] 由于[pic]的均值是0,并且它的方差收敛于0,所以[pic]按均方收敛于0,且[pic]。 (下面定理揭示了r-阶收敛与依概率收敛的关系 定理8 [pic]。) 因此 [pic] (4) 所以 [pic] (5) 这表明了在古典回归模型中,在假设(1)条件下b是β的一致估计量。 二、最小二乘估计量的渐近正态性 为了导出最小二乘估计量的渐近分布,利用以前结果可得 [pic] 由于逆矩阵是原矩阵的连续函数,[pic]。因此,如果极限分布存在,则统计量的极 限分布与下式相同: [pic] (6a) 因此,我们必须建立下式的极限分布, [pic] 其中[pic]。我们可以利用林德伯格- 费勒形式的中心极限定理得到[pic]的极限分布。利用定理中的表达式, [pic] 是n个互不相关的随机向量[pic]的平均值,其中[pic], εi的均值为0,方差为 [pic] [pic]的方差 [pic] [pic] 只要总和不被任一特定项占据主导地位并且回归量表现良好,在这种情况中,这意味着 (1)成立,则 [pic]Var([pic])=[pic]Var([pic])=[pic] 下列结果的正式证明是根据林德伯格- 费勒形式的中心极限定理,由施密特(1976)和怀特(1984)给出。如果 1. 扰动项都服从具有零均值和有限方差[pic]的同样的分布。 2. X的元素受到限制使得[pic]有限并且[pic]是一个有限正定矩阵。则 [pic] (6) (这也是为什么我们要假设Q是正定的,因为正态的协方差都是正定的) 我们利用这一结果可得, 即作一个变换: [pic] 根据(6a): [pic] 我们可以得到b的渐近分布(不加证明): [pic] 三、标准检验统计量的渐近行为 如果没有ε的正态性,前面给出的t,F和[pic]统计量则不会服从相应的这些分布。因 为 [pic] 由此得出 [pic] 的渐近分布是标准正态分布。 由于[pic](在下一节中将证明[pic]这个结果) [pic] 将与θk有同样的渐近分布。因此,我们可以认为,关于β的一个元素的假设的通常统计量 服从标准正态分布,而不是t分布。(也就是大样本情况下,没有t分布了,相应的t分布 是正态分布。) 用于检验一组线性约束的F统计量, [pic] 不再是F分布,因为分子和分母都不是要求的[pic]分布。不过, 沃尔德统计量JF[J,n-K]渐近地服从[pic]分布并可以用来替代使用。这与扰动项正态分 布情况的结果相同。在通常的假设下,无论扰动项是否服从正态分布,在处理古典模型 的大样本时,沃尔德统计量都可使用。 定理 沃尔德统计量的极限分布定理 如果[pic] 以及[pic]是正确的,那么 [pic] 依分布收敛于自由度为J的[pic]统计量。(我们不要求正式严格证明)。 特别提醒与注意:模型的整体检验统计量 这个沃尔德统计量就是可以用来作为我们模型的整体检验,只不过检验时,这里的R =I,而q=0而已。但注意沃尔德统计量W 是自由度为J的[pic]统计量,而不再是用F 分布来检验了。但W=JF。 定理的证明:由于R是常数矩阵, [pic] (1) 又Rβ=q,因此 [pic] (2) 为方便起见,将此写成 [pic] (3) 令T满足T2=P-1,并把T记为[pic],即T是P的逆平方根。 如果[pic],那么[pic] (4) 现在,我们对随机变量函数的极限分布利用斯拉茨基(Slutsky)定理,无关的(即,相 互独立)标准正态分布变量的平方和服从[pic]分布。因此,有下面的极限分布 [pic] (5) 再结合前面的各部分, 不难证明: [pic] (6) 即我们已经证明了其极限分布是自由度为J的[pic]分布。 由于[pic](在下一节中将证明这个结果),这样: [pic] 的极限分布式与(6)的极限分布是一样的。 约去n,对左边进行整理就得到沃尔德统计量W。证明完毕。 注意:沃尔德统计量W可以用J 乘以通常的F 的统计量而得到。F仍然是OLS得到的F统计量。 三、s2的一致性和Var[b]的估计量 本节证明上节用到的结果plim[pic]的假设,即证明s2对[pic]的一致性,也就是证明 [pic]。展开 [pic] 可得 [pic] [pic] 最前面的常数显然收敛于1,括号中第一项依概率收敛于[pic],因为:[pic]=[pic] 而且:[pic] [pic] 因为有:(定理 从具有有限均值μ和有限方差[pic]的任何总体中抽取的随机样本的均值都是μ的一个一致 估计量。P357(大Green)) 所以只有在[pic]为有限的情况下,[pic]是[pic]的一致估计量。 所以我们要假设[pic]是有限的。 这意味着 [pic] 单独看plims2的第二项,略微整理之后,我们有 [pic] 这个统计量的大样本特性与 [pic] 的相同。注意q等于[pic]乘以正态分布向量的二次型,该向量[pic]渐近方差矩阵是[pic] Q。因此,利用沃尔德统计量极限分布证明的结果,我们发现q可以写成 [pic] 这样 [pic] [pic] 而且[pic],q是二阶收敛的,所以保证了概率收敛,即[pic]由此可得q本身依均方收敛 于0。这表明了s2对[pic]的一致性。由此b的渐近协方差的适当的估计量是: [pic] B的函数的渐近分布——得尔塔方法 利用泰勒展开,把f(x)线性化。 令f(b)是一组关于最小二乘估计量J个连续的线性或非线性的函数并令 [pic] G是J×K矩阵,其中第j行是第j个函数关于b的导数。利用斯拉茨基(Slutsky)定理, [pic] 并且 [pic], 于是 [pic] (2) 实际上,渐近协方差矩阵的估计量是 [pic] 如果某个函数是非线性的,则b的无偏的性质不会传给f(b)。不过从(2)中可得f(b)是 f(β)的一致估计量,而且渐近协方差矩阵很容易获得。 例 P324(小Green) 小 结 有限样本和大样本的结果比较 有限样本 大样本 在条件[pic]下的结果 在不满足条件[pic]下的结果 1. E[b]=β 1. [pic] 最小二乘估计是无偏的 b是β的一致估计量 2. E[s2]=σ2 2. s2是方差[pic]的一致估计量 σ2估计是无偏的 s2是[pic]的一致估计量 3. [pic]Var[b]=s2(X′X)-1 3。 [pic] 4.b的精确分布是 4. b的渐近分布是正态分布 [pic] [pic] 5.统计量[pic] 5. 统计量 [pic] 服从自由度为n-K的t分布 服从标准正态分布,而不是t分布 6.用于检验一组J个线性约束Rβ=q的检验统计量 [pic] 服从自由度为J和n-K的F分布 6. [pic] 依分布收敛于自由度为J的[pic]统计量 非线性问题的处理:(利用泰勒展开,转换为线性)
上课材料之九
第八章 古典线性回归的大样本理论 迄今为止的讨论涉及了最小二乘估计量的有限样本性质。根据非随机回归量和扰动项 正态分布这两个假设,我们知道了最小二乘估计量的精确分布和一些检验统计量。 在本章中,我们去总结前一章关于最小二乘法的有限样本特性,然后我们重点讨论古 典回归模型的大样本结果。 第一节 最小二乘法的有限样本特性 古典回归模型的基本假设是 Ⅰ.y=Xβ+ε。 Ⅱ.X是秩为K的n×K非随机矩阵。 Ⅲ.E[ε]=0。 Ⅳ.E[εε′]=σ2I。 未知参数β和σ2的最小二乘估计量是 [pic] 和 [pic] 通过分析 [pic] 并且 [pic] 我们可得下列精确的有限样本结果: 1. E[b]=β(最小二乘估计是无偏的) 2. Var[b]=σ2(X′X)-1 3. 任意函数r′β的最小方差线性无偏估计量是r′b。(这就是高斯—马尔科夫定理) 4. E[s2]=σ2 5. Cov[b,e]=0 为了构造置信区间和检验假设,我们根据正态分布的假设 [pic] 推导额外了的结果,即 6. b和e在统计上是相互独立的。相应的,b和s2无关并在统计上相互独立。 7. b的精确分布依赖于X,是[pic]。 8. [pic]的分布是[pic]。s2的均值是σ2,方差是2σ4/(n-K)。 9. 根据6至8结果,统计量[pic]服从自由度为n-K的t分布。 10. 用于检验一组J个线性约束Rβ=q的检验统计量 [pic] 服从自由度为J和n-K的F分布。 注意,利用I至IV建立起来的b的各种性质和根据扰动项更进一步的正态分布假设而得 到的额外推断结果之间的区别。第一组中最重要的结果是高斯—马尔科夫定理,它与扰动 项的分布无关。根据正态分布假设得到的重要的附加结果是7、8、9、10。正态性没有产 生任何额外的有限样本的最优性结果。(没有得出额外的有关统计量好坏的结论) 第二节 古典回归模型的渐近分布理论 为什么要用大样本理论? 在OLS的方法中,我们如果用数据得到的wald统计量: [pic]~[pic] 通不过检验,即假设[pic]不满足,这样的话我们就不能用OLS完成相关的假设检验问题 ,所以我们要用到中心极限定理:在n足够大的情况下,Y 和 [pic] 都服从正态分布。这样,相应的判别估计量好坏的方法和标准要捉相应的调整,其中重 要的概念是一致估计量。虽然估计量有可能相同,但我们关心的是他们的一致性,而不 是无偏性。 所以我们要区分那些结论是可以在没有正态性的假设下仍然成立的,利用这些条件来 推断最小二乘系数估计量的一致性。 对于满足I到IV假设的模型,可以直接推导大样本最小二乘估计量的特性。 最小二乘系数向量的一致性 复习:依概率分布 定理 从具有有限均值μ和有限方差[pic]的任何总体中抽取的随机样本的均值都是μ的一个一致 估计量。 证明:[pic],所以,[pic]依均方收敛于μ,或[pic]。 斯拉茨基定理(Slutsky) 对一个不是n的函数的连续函数g(xn),有 [pic] 假设 [pic] 是正定矩阵, (1) 这个假设在大多数时候是不过份的,考虑一元的情况: X=[pic] [pic] (我们知道,p[pic] p[pic]). [pic] which is positive definite as its principal submatrices all have positive determinants. 最小二乘估计量可以写成 [pic] (2) 假设Q-1存在,因为逆矩阵是原矩阵的连续函数,我们得到 [pic] 现在我们需要最后一项的概率极限。令 [pic],其中[pic],为[pic]的列向量 那么 [pic] 且 [pic] 因为,X是非随机矩阵,所以 [pic] 且 [pic] 于是可得 [pic] 由于[pic]的均值是0,并且它的方差收敛于0,所以[pic]按均方收敛于0,且[pic]。 (下面定理揭示了r-阶收敛与依概率收敛的关系 定理8 [pic]。) 因此 [pic] (4) 所以 [pic] (5) 这表明了在古典回归模型中,在假设(1)条件下b是β的一致估计量。 二、最小二乘估计量的渐近正态性 为了导出最小二乘估计量的渐近分布,利用以前结果可得 [pic] 由于逆矩阵是原矩阵的连续函数,[pic]。因此,如果极限分布存在,则统计量的极 限分布与下式相同: [pic] (6a) 因此,我们必须建立下式的极限分布, [pic] 其中[pic]。我们可以利用林德伯格- 费勒形式的中心极限定理得到[pic]的极限分布。利用定理中的表达式, [pic] 是n个互不相关的随机向量[pic]的平均值,其中[pic], εi的均值为0,方差为 [pic] [pic]的方差 [pic] [pic] 只要总和不被任一特定项占据主导地位并且回归量表现良好,在这种情况中,这意味着 (1)成立,则 [pic]Var([pic])=[pic]Var([pic])=[pic] 下列结果的正式证明是根据林德伯格- 费勒形式的中心极限定理,由施密特(1976)和怀特(1984)给出。如果 1. 扰动项都服从具有零均值和有限方差[pic]的同样的分布。 2. X的元素受到限制使得[pic]有限并且[pic]是一个有限正定矩阵。则 [pic] (6) (这也是为什么我们要假设Q是正定的,因为正态的协方差都是正定的) 我们利用这一结果可得, 即作一个变换: [pic] 根据(6a): [pic] 我们可以得到b的渐近分布(不加证明): [pic] 三、标准检验统计量的渐近行为 如果没有ε的正态性,前面给出的t,F和[pic]统计量则不会服从相应的这些分布。因 为 [pic] 由此得出 [pic] 的渐近分布是标准正态分布。 由于[pic](在下一节中将证明[pic]这个结果) [pic] 将与θk有同样的渐近分布。因此,我们可以认为,关于β的一个元素的假设的通常统计量 服从标准正态分布,而不是t分布。(也就是大样本情况下,没有t分布了,相应的t分布 是正态分布。) 用于检验一组线性约束的F统计量, [pic] 不再是F分布,因为分子和分母都不是要求的[pic]分布。不过, 沃尔德统计量JF[J,n-K]渐近地服从[pic]分布并可以用来替代使用。这与扰动项正态分 布情况的结果相同。在通常的假设下,无论扰动项是否服从正态分布,在处理古典模型 的大样本时,沃尔德统计量都可使用。 定理 沃尔德统计量的极限分布定理 如果[pic] 以及[pic]是正确的,那么 [pic] 依分布收敛于自由度为J的[pic]统计量。(我们不要求正式严格证明)。 特别提醒与注意:模型的整体检验统计量 这个沃尔德统计量就是可以用来作为我们模型的整体检验,只不过检验时,这里的R =I,而q=0而已。但注意沃尔德统计量W 是自由度为J的[pic]统计量,而不再是用F 分布来检验了。但W=JF。 定理的证明:由于R是常数矩阵, [pic] (1) 又Rβ=q,因此 [pic] (2) 为方便起见,将此写成 [pic] (3) 令T满足T2=P-1,并把T记为[pic],即T是P的逆平方根。 如果[pic],那么[pic] (4) 现在,我们对随机变量函数的极限分布利用斯拉茨基(Slutsky)定理,无关的(即,相 互独立)标准正态分布变量的平方和服从[pic]分布。因此,有下面的极限分布 [pic] (5) 再结合前面的各部分, 不难证明: [pic] (6) 即我们已经证明了其极限分布是自由度为J的[pic]分布。 由于[pic](在下一节中将证明这个结果),这样: [pic] 的极限分布式与(6)的极限分布是一样的。 约去n,对左边进行整理就得到沃尔德统计量W。证明完毕。 注意:沃尔德统计量W可以用J 乘以通常的F 的统计量而得到。F仍然是OLS得到的F统计量。 三、s2的一致性和Var[b]的估计量 本节证明上节用到的结果plim[pic]的假设,即证明s2对[pic]的一致性,也就是证明 [pic]。展开 [pic] 可得 [pic] [pic] 最前面的常数显然收敛于1,括号中第一项依概率收敛于[pic],因为:[pic]=[pic] 而且:[pic] [pic] 因为有:(定理 从具有有限均值μ和有限方差[pic]的任何总体中抽取的随机样本的均值都是μ的一个一致 估计量。P357(大Green)) 所以只有在[pic]为有限的情况下,[pic]是[pic]的一致估计量。 所以我们要假设[pic]是有限的。 这意味着 [pic] 单独看plims2的第二项,略微整理之后,我们有 [pic] 这个统计量的大样本特性与 [pic] 的相同。注意q等于[pic]乘以正态分布向量的二次型,该向量[pic]渐近方差矩阵是[pic] Q。因此,利用沃尔德统计量极限分布证明的结果,我们发现q可以写成 [pic] 这样 [pic] [pic] 而且[pic],q是二阶收敛的,所以保证了概率收敛,即[pic]由此可得q本身依均方收敛 于0。这表明了s2对[pic]的一致性。由此b的渐近协方差的适当的估计量是: [pic] B的函数的渐近分布——得尔塔方法 利用泰勒展开,把f(x)线性化。 令f(b)是一组关于最小二乘估计量J个连续的线性或非线性的函数并令 [pic] G是J×K矩阵,其中第j行是第j个函数关于b的导数。利用斯拉茨基(Slutsky)定理, [pic] 并且 [pic], 于是 [pic] (2) 实际上,渐近协方差矩阵的估计量是 [pic] 如果某个函数是非线性的,则b的无偏的性质不会传给f(b)。不过从(2)中可得f(b)是 f(β)的一致估计量,而且渐近协方差矩阵很容易获得。 例 P324(小Green) 小 结 有限样本和大样本的结果比较 有限样本 大样本 在条件[pic]下的结果 在不满足条件[pic]下的结果 1. E[b]=β 1. [pic] 最小二乘估计是无偏的 b是β的一致估计量 2. E[s2]=σ2 2. s2是方差[pic]的一致估计量 σ2估计是无偏的 s2是[pic]的一致估计量 3. [pic]Var[b]=s2(X′X)-1 3。 [pic] 4.b的精确分布是 4. b的渐近分布是正态分布 [pic] [pic] 5.统计量[pic] 5. 统计量 [pic] 服从自由度为n-K的t分布 服从标准正态分布,而不是t分布 6.用于检验一组J个线性约束Rβ=q的检验统计量 [pic] 服从自由度为J和n-K的F分布 6. [pic] 依分布收敛于自由度为J的[pic]统计量 非线性问题的处理:(利用泰勒展开,转换为线性)
上课材料之九
[下载声明]
1.本站的所有资料均为资料作者提供和网友推荐收集整理而来,仅供学习和研究交流使用。如有侵犯到您版权的,请来电指出,本站将立即改正。电话:010-82593357。
2、访问管理资源网的用户必须明白,本站对提供下载的学习资料等不拥有任何权利,版权归该下载资源的合法拥有者所有。
3、本站保证站内提供的所有可下载资源都是按“原样”提供,本站未做过任何改动;但本网站不保证本站提供的下载资源的准确性、安全性和完整性;同时本网站也不承担用户因使用这些下载资源对自己和他人造成任何形式的损失或伤害。
4、未经本网站的明确许可,任何人不得大量链接本站下载资源;不得复制或仿造本网站。本网站对其自行开发的或和他人共同开发的所有内容、技术手段和服务拥有全部知识产权,任何人不得侵害或破坏,也不得擅自使用。
我要上传资料,请点我!
管理工具分类
ISO认证 课程讲义 管理表格 合同大全 法规条例 营销资料 方案报告 说明标准 管理战略 商业计划书 市场分析 战略经营 策划方案 培训讲义 企业上市 采购物流 电子商务 质量管理 企业名录 生产管理 金融知识 电子书 客户管理 企业文化 报告论文 项目管理 财务资料 固定资产 人力资源 管理制度 工作分析 绩效考核资料 面试招聘 人才测评 岗位管理 职业规划 KPI绩效指标 劳资关系 薪酬激励 人力资源案例 人事表格 考勤管理 人事制度 薪资表格 薪资制度 招聘面试表格 岗位分析 员工管理 薪酬管理 绩效管理 入职指引 薪酬设计 绩效管理 绩效管理培训 绩效管理方案 平衡计分卡 绩效评估 绩效考核表格 人力资源规划 安全管理制度 经营管理制度 组织机构管理 办公总务管理 财务管理制度 质量管理制度 会计管理制度 代理连锁制度 销售管理制度 仓库管理制度 CI管理制度 广告策划制度 工程管理制度 采购管理制度 生产管理制度 进出口制度 考勤管理制度 人事管理制度 员工福利制度 咨询诊断制度 信息管理制度 员工培训制度 办公室制度 人力资源管理 企业培训 绩效考核 其它
精品推荐
- 1C语言难点及分析 486
- 2暗促-酒店玫瑰静悄悄地开 780
- 3终端陈列十五大原则 834
- 4****主营业务发展战略设计 736
- 5中小企业物流发展的对策 808
- 6主顾开拓 864
- 7主动推进的客户服务 672
- 8专业媒体策划与购买 743
- 9中远电视广告CF 852
下载排行
- 1社会保障基础知识(ppt) 16695
- 2安全生产事故案例分析(ppt 16695
- 3行政专员岗位职责 16695
- 4品管部岗位职责与任职要求 16695
- 5员工守则 16695
- 6软件验收报告 16695
- 7问卷调查表(范例) 16695
- 8工资发放明细表 16695
- 9文件签收单 16695


