上课材料之六
上课材料之六详细内容
上课材料之六
第五章 多元线性回归模型 在第四章中,我们讨论只有一个解释变量影响被解释变量的情况,但在实际生活中, 往往是多个解释变量同时影响着被解释变量。需要我们建立多元线性回归模型。 一、多元线性模型及其假定 多元线性回归模型的一般形式是 [pic] 令列向量x是变量xk,k=1,2,的n个观测值,并用这些数据组成一个n×K数据矩阵X, 在多数情况下,X的第一列假定为一列1,则β1就是模型中的常数项。最后,令y是n个观 测值y1, y2, …, yn组成的列向量,现在可将模型写为: [pic] 构成多元线性回归模型的一组基本假设为 假定1. [pic] 我们主要兴趣在于对参数向量β进行估计和推断。 假定2. [pic] 假定3. [pic] 假定4. [pic] 我们假定X中不包含ε的任何信息,由于 [pic] (1) 所以假定4暗示着[pic]。 (1)式成立是因为,对于任何的双变量X,Y,有E(XY)=E(XE(Y|X)),而且[pic] [pic] 这也暗示 [pic] 假定5 X是秩为K的n×K随机矩阵 这意味着X列满秩,X的各列是线性无关的。 在需要作假设检验和统计推断时,我们总是假定: 假定6 [pic] 二、最小二乘回归 1、最小二乘向量系数 采用最小二乘法寻找未知参数β的估计量[pic],它要求β的估计[pic]满足下面的条件 [pic] (2) 其中[pic],min是对所有的m维向量β取极小值。 也即 [pic] [pic] (3) 满足(2)式或(3)式的估计量[pic]称为β的最小二乘估计,这种求估计量的方法称 为最小二乘法(OLS)。 展开上式得 [pic] 或 [pic] 最小值的必要条件是 [pic] 设b是解,则b满足正则方程组 [pic] 这正是我们曾分析的最小二乘正则方程组。因为X是满秩的,所以[pic]的逆存在, 从而得到解是 [pic] 为了证实这确实是最小值,我们需要二阶编分矩阵 [pic] 是一个正定矩阵。 我们现在来证明这个结果。对任意一非零向量c,令[pic],则 [pic] 除非[pic]的每一元素都为0,否则q是正的。但若[pic]为零的话,则X的各列的一个线性 组合等于0,这与X满秩的假定相矛盾。 三、最小二乘估计量的统计特性 在本节中,我们对回归量的两种情况,即非随机回归量和随机回归量下分别作讨论。 1、X非随机回归量 若回归量当作非随机来进行处理时,则将X当作常数矩阵处理就可导出最小二乘估计 量的各种特性。可得 [pic] (4) 若X是非随机的,或[pic],则(4)中第二项的期望值是0。所以,最小二乘估计量是 无偏的,它的协方差矩阵是 [pic] [pic] [pic] [pic] [pic] 在前面的内容中,对K=2的特殊b是β的最小方差的线性无偏估计量。现在我们给出这 个基本结果的一个更一般的证明,令[pic]的另一个不同于b的线性无偏估计量,其中C是 一个K×n矩阵。若[pic]是无偏的, [pic] 这暗示着CX=I,并且[pic]。所以可以得到[pic]的协方差矩阵是 [pic] 现在令[pic],由假设知D≠0。那么,[pic] [pic] 于是[pic]是非负定矩阵。 则 [pic] [pic] [pic] 在展开这个四项和式之前,我们注意到 [pic] 由于上面最后一项是I,有DX=0,所以 [pic] [pic] [pic]的方差矩阵等于b的方差矩阵加上一个非负定矩阵。所以,[pic]的每个二次型 都大于[pic]的相应二次型。 利用这个结果可以证明高斯-马尔科夫定理: 高斯—马尔科夫定理: 对任意常向量w,古典线性模型中[pic]的最小方差线性无偏估计量是[pic],其中b是 最小二乘估计量。 2、X随机回归量 在这样的情况下,为了得到最小二乘估计量特性更多的一般性,有必要将上面的结果 推广解释变量X是来自某种概率分布的情况中去。获得b的统计特性的一个方便的方法是 ,首先,第一步求得对X的条件期望结果,这等同于非随机回归量的情况,第二步,通过 条件分布得到无条件结果。此论点的关键是,如果我们对任意X都可能得到条件无偏性, 我们就可以得到一个无条件结果。 因为 [pic] 所以,以观测到的X为条件我们得到 [pic] 一个有用的方法是利用重期望定律 [pic] [pic] 因为由假定4有[pic],所以,b也是无条件无偏的,这样, [pic]。 同样,以X为条件的b的方差是 [pic] 为了求得确切的方差,我们使用方差分解公式: [pic] 由于对所有X,[pic],所以第二项为零,因此, [pic] 我们原来的结论要稍作改变,我们必须用其期望值E[(X′X)-1]来代替原来[pic]以得到适 当的协方差矩阵。 从上一段的结果可以合乎逻辑地建立高斯—马尔科夫定理, 即对任何[pic],在X给定的条件下有 [pic] 但若这一不等式对一特定X成立,则必须成立: [pic] 即,若它对每一特定X成立,则它一定对X的平均值也成立。这暗示,[pic]≤[pic]。 所以,不论我们是否将X看作是随机的,即无偏性和高斯—马尔科夫定理都成立。 四、最小二乘估计量的统计推断 迄今为止,在我们任一结果还未用到ε的正态性的假定6,但这一假定对构造假设检验 的统计量是有用的和必须的。 1、回归系数的假设检验 我们先讨论X非随机变量时的情况。 在(4)中,b是干扰向量ε的一个线性函数,如果我们假定ε服从多重正态分布。 利用前面结果及前边推导的均值向量和协方差矩阵来表示即 [pic] 这是一个多重正态分布,所以b的每一元素的边际分布都是正态分布的: [pic] 令[pic]是[pic]的第k个对角元素,则 [pic] (5) 服从标准正态分布。若[pic]的统计推断可以基于[pic]。然而[pic]仍要估计,所以 (5)式中Zk不是统计量。我们要得到[pic]的无偏估计量,才能作进一步的推断。 按定义最小二乘残差向量是 [pic] [pic] [pic] [pic] M是回归分析中一个基本的n×n矩阵,你可以容易地验证M既是对称的(M=M′)又是幂等 的(M=M2)。 性质1:X′e=0和i′e=0 证明:由正则方程组,我们得到: [pic] [pic] 所以, i′e=0 由性质1及证明过程我们得到两个推论: 推论1:[pic]和MX=0。 推论2:[pic]和Mi=0。 推论2成立是因为X′的第一行是(1,1,…,1)。 性质2:e和b互不相关。 [pic] [pic] 从几何解释来看这一性质是显然的,e表示Y到子样空间的垂线估计量,[pic]和e互相 垂直。 性质3:残差e的均值向量和协方差阵分别是[pic] 证明:[pic] [pic] [pic] [pic] E(e)=0,暗示[pic]是y的无偏估计量。 性质4:[pic] 证明:最小二乘残差是 [pic], 这是由于MX=0,[pic]的一个估计量将基于残差平方和: [pic] 这个二次型的期望值是 [pic] 我们有 [pic][pic] 由于M是固定的,这就是 [pic] M的迹是 [pic] [pic] 所以, [pic], [pic]的一个无偏估计量是 [pic] (6) 回归的标准误差是s2,其平方根为s。利用s2,我们可以计算估计量b的估计协方差矩阵 : [pic] 通过利用s2替代[pic],我们导出替代(5)中zk的一个统计量。此量 [pic] 是一个标准正态向量[pic]的幂等二次型,所以,它服从自由度为秩(M)=迹(M)=n—K 的x2分布。(6)中的x2分布变量独立于(4)中的标准正态变量,为了证明这一点,只 要证明 [pic] (7a) 独立于[pic]就足够了。我们知道标准正态向量x的一个线性式Lx和一个幂等二次型x ′Ax独立的充分条件是LA=0,令[pic]等x,我们发现这里所需求的是[pic]。这确实成立 ,因为[pic]。 在推导回归分析中许多检验统计量中起中心作用的一般性结果是: 若ε服从正态分布,最小二乘系数估计量b统计独立于残差向量e及包括s2在内的e的所 有函数。 所以,比率 [pic] [pic] (7) 服从自由度为(n—K)的t分布。这是我们作统计推断的基础。 线性约束检验 我们通常对含有不只一个系数的假设检验感兴趣,我们可以利用一个类似于(7)中 的检验统计量。假定我们的假设是 [pic], (通常某些r将为零)左边的样本估计是 [pic] 若[pic]显著异于q,则我们推断样本数据与假设不一致。与(7)一样,将假设基于下式 是很自然的。 [pic] (7a) 我们需要[pic]的标准误差的一个估计。由于[pic]是b的一个线性函数,且我们已估计出 了b的方差矩阵[pic],我们可用下式估计[pic]的方差。 [pic] (7)中的分母是这个量的平方根。若假设是正确的,我们的估计应该反映这一事实,至 少在抽样变化性的范围内如此。这样,若前边的t比率的绝对值大于适当的监界值,则应 对假设产生怀疑。 2、随机X及正态ε下的检验统计量 现在,我们考虑当X是随机的,样本检验统计量和推断方法考虑(7)中检验[pic]的 t统计量: [pic] (8) 以X为条件,t|X服从自由度为(n—K)的t分布。然而,我们感兴趣的是t的边际(即无条 件)分布。正如我们所见,(7a)仅仅在以X为条件时b才是正态分布的,我们还没有证 明它的边际分布是正态分布的。类似地,当X是随机的情况下,在给定X的条件下,我们 得到了(8)式的t统计量,我们还没有证明t边际分布也是以(n-K)为自由度的t分布 。事实上,t的边际分布仍是以(n—K)为自由度的t分布,不论X的分布是什么,甚至不 论X是随机的还是非随机的或者是混合的。 这个令人迷惑的结果来自f(t|X)不是X的函数这一事实,同样的原因可以用来推演不 论X是不是随机的,通常用以检验线性约束的F比率都是有效的。 结论:若干扰项是正态分布的,我们可以在我们的过程中不加变化地进行检验和构造 参数的置信区间,而不去考虑回归量是随机的、非随机的,还是它们的混合。 3、拟合优度和方差分析 由方差分解公式,我们有:[pic]。我们用幂等矩阵M0来表示: [pic] [pic] [pic] 所以,[pic]和[pic] 进一步研究回归平方和SSR与残差平方和SSE,我们可以得到下面三个结论: a)在β=0的假设条件下,回归平方和[pic]服从自由度为K-1的卡方分布x2(K-1); b)残差平方和[pic]服从自由度为n-K的卡方分布x2(n-K); c)在β=0的假设条件下,[pic]服从F(k-1,n-k)分布。 证明:a)M0-M是幂等矩阵。先证明M0M+MM0=2M。 M0M+MM0 [pic] [pic] =2M 从而[pic] [pic] 所以,[pic]。 在β=0的假设条件下,[pic]才服从自由度为K-1的卡方分布x2(K-1)(为什么?) b)因为M是幂等矩阵而且[pic][pic] c)只要验证[pic]即可。 事实上,[pic] [pic]。 和前一章的情况一样,我们要对回归模型的好坏,作出评价,决定系数[pic]就是对 模型拟合的一个度量,计算R2有两个等价的方法。 决定系数[pic] 进一步推导和化解,我们可以得到R2另一个公式。 [pic],以及M0e=e(表示残差已经具有零均值)和X′e=0。 [pic] 所以,[pic] [pic] [pic] [pic] 第一个方法度量了y的总变差中由回归变差所解释的部分,第二个是y的观测值和由估 计的回归方程所产生的预测值间的相关系数的平方。 当利用R2来比较不同的线性统计模型的拟合度时,存在一个严重的缺点,就是它的值 随着解释变量的增多而增大。为了克服这个缺点,我们可以用调整的R2来测度一个模型 的解释能力,这个调整的R2被记[pic],它的表达式为 [pic] [pic] 这里[pic]的无偏估计量,(思考:当y服从正态分布时,[pic]的一个无偏估计量) 。[pic]不同的是,随着解释变量的增多,它的值可能变小,甚至要能取负值。 因为[pic] 所以,SSR=[pic] [pic] [pic] 我们得到了回归方差的另一个表达式,请见多元线性回归模型方差分析表。 表1 多元线性回归模型方差分析 | |来源 |自由度 |均方 | |回归 |[pic] |K-1 | | |残差 |[pic] |n-K |s2 | |总 |[pic] |n-1 |[pic] | |[pic] | 4、回归的显著性检验 一个通常要检验的假定是回归方程作为整体的显著性,这是对除了常数项外所有常数 都为0的假设的联合检验。若所有系数为0,则多重相关系数为0,所以我们可以将这一假 定的一个检验基于R2值上。统计量 [pic] 服从自由度为K-1和n-K的F分布,检验的逻辑是,F统计量是对我们强加所有斜率都是 0的这一约束时的拟合损失的一个度量(R2的全部),若F大,假设被拒绝。 五、预测 多元回归环境下的预测结果与前一章中讨论的那些本质是一样的。假定我们希望预测 与回归向量x0相应的y0值。它将是 [pic] ([pic],且 [pic] i=1,…,n) 由高斯—马尔科夫定理知 [pic] 是y0的最小方差线性无偏估计量。 个体预测(Individual Prediction)误差是 [pic] ([pic],且 [pic] i=1,…,n) 这个估计的预测方差是 [pic] [pic] 若回归含有一个常数项,一个等价的表达式是 [pic] 其中X是X的不包含全为1的列的最后K-1列。这表明,和以前一样,区间的宽度依赖 于x0的元素与数...
上课材料之六
第五章 多元线性回归模型 在第四章中,我们讨论只有一个解释变量影响被解释变量的情况,但在实际生活中, 往往是多个解释变量同时影响着被解释变量。需要我们建立多元线性回归模型。 一、多元线性模型及其假定 多元线性回归模型的一般形式是 [pic] 令列向量x是变量xk,k=1,2,的n个观测值,并用这些数据组成一个n×K数据矩阵X, 在多数情况下,X的第一列假定为一列1,则β1就是模型中的常数项。最后,令y是n个观 测值y1, y2, …, yn组成的列向量,现在可将模型写为: [pic] 构成多元线性回归模型的一组基本假设为 假定1. [pic] 我们主要兴趣在于对参数向量β进行估计和推断。 假定2. [pic] 假定3. [pic] 假定4. [pic] 我们假定X中不包含ε的任何信息,由于 [pic] (1) 所以假定4暗示着[pic]。 (1)式成立是因为,对于任何的双变量X,Y,有E(XY)=E(XE(Y|X)),而且[pic] [pic] 这也暗示 [pic] 假定5 X是秩为K的n×K随机矩阵 这意味着X列满秩,X的各列是线性无关的。 在需要作假设检验和统计推断时,我们总是假定: 假定6 [pic] 二、最小二乘回归 1、最小二乘向量系数 采用最小二乘法寻找未知参数β的估计量[pic],它要求β的估计[pic]满足下面的条件 [pic] (2) 其中[pic],min是对所有的m维向量β取极小值。 也即 [pic] [pic] (3) 满足(2)式或(3)式的估计量[pic]称为β的最小二乘估计,这种求估计量的方法称 为最小二乘法(OLS)。 展开上式得 [pic] 或 [pic] 最小值的必要条件是 [pic] 设b是解,则b满足正则方程组 [pic] 这正是我们曾分析的最小二乘正则方程组。因为X是满秩的,所以[pic]的逆存在, 从而得到解是 [pic] 为了证实这确实是最小值,我们需要二阶编分矩阵 [pic] 是一个正定矩阵。 我们现在来证明这个结果。对任意一非零向量c,令[pic],则 [pic] 除非[pic]的每一元素都为0,否则q是正的。但若[pic]为零的话,则X的各列的一个线性 组合等于0,这与X满秩的假定相矛盾。 三、最小二乘估计量的统计特性 在本节中,我们对回归量的两种情况,即非随机回归量和随机回归量下分别作讨论。 1、X非随机回归量 若回归量当作非随机来进行处理时,则将X当作常数矩阵处理就可导出最小二乘估计 量的各种特性。可得 [pic] (4) 若X是非随机的,或[pic],则(4)中第二项的期望值是0。所以,最小二乘估计量是 无偏的,它的协方差矩阵是 [pic] [pic] [pic] [pic] [pic] 在前面的内容中,对K=2的特殊b是β的最小方差的线性无偏估计量。现在我们给出这 个基本结果的一个更一般的证明,令[pic]的另一个不同于b的线性无偏估计量,其中C是 一个K×n矩阵。若[pic]是无偏的, [pic] 这暗示着CX=I,并且[pic]。所以可以得到[pic]的协方差矩阵是 [pic] 现在令[pic],由假设知D≠0。那么,[pic] [pic] 于是[pic]是非负定矩阵。 则 [pic] [pic] [pic] 在展开这个四项和式之前,我们注意到 [pic] 由于上面最后一项是I,有DX=0,所以 [pic] [pic] [pic]的方差矩阵等于b的方差矩阵加上一个非负定矩阵。所以,[pic]的每个二次型 都大于[pic]的相应二次型。 利用这个结果可以证明高斯-马尔科夫定理: 高斯—马尔科夫定理: 对任意常向量w,古典线性模型中[pic]的最小方差线性无偏估计量是[pic],其中b是 最小二乘估计量。 2、X随机回归量 在这样的情况下,为了得到最小二乘估计量特性更多的一般性,有必要将上面的结果 推广解释变量X是来自某种概率分布的情况中去。获得b的统计特性的一个方便的方法是 ,首先,第一步求得对X的条件期望结果,这等同于非随机回归量的情况,第二步,通过 条件分布得到无条件结果。此论点的关键是,如果我们对任意X都可能得到条件无偏性, 我们就可以得到一个无条件结果。 因为 [pic] 所以,以观测到的X为条件我们得到 [pic] 一个有用的方法是利用重期望定律 [pic] [pic] 因为由假定4有[pic],所以,b也是无条件无偏的,这样, [pic]。 同样,以X为条件的b的方差是 [pic] 为了求得确切的方差,我们使用方差分解公式: [pic] 由于对所有X,[pic],所以第二项为零,因此, [pic] 我们原来的结论要稍作改变,我们必须用其期望值E[(X′X)-1]来代替原来[pic]以得到适 当的协方差矩阵。 从上一段的结果可以合乎逻辑地建立高斯—马尔科夫定理, 即对任何[pic],在X给定的条件下有 [pic] 但若这一不等式对一特定X成立,则必须成立: [pic] 即,若它对每一特定X成立,则它一定对X的平均值也成立。这暗示,[pic]≤[pic]。 所以,不论我们是否将X看作是随机的,即无偏性和高斯—马尔科夫定理都成立。 四、最小二乘估计量的统计推断 迄今为止,在我们任一结果还未用到ε的正态性的假定6,但这一假定对构造假设检验 的统计量是有用的和必须的。 1、回归系数的假设检验 我们先讨论X非随机变量时的情况。 在(4)中,b是干扰向量ε的一个线性函数,如果我们假定ε服从多重正态分布。 利用前面结果及前边推导的均值向量和协方差矩阵来表示即 [pic] 这是一个多重正态分布,所以b的每一元素的边际分布都是正态分布的: [pic] 令[pic]是[pic]的第k个对角元素,则 [pic] (5) 服从标准正态分布。若[pic]的统计推断可以基于[pic]。然而[pic]仍要估计,所以 (5)式中Zk不是统计量。我们要得到[pic]的无偏估计量,才能作进一步的推断。 按定义最小二乘残差向量是 [pic] [pic] [pic] [pic] M是回归分析中一个基本的n×n矩阵,你可以容易地验证M既是对称的(M=M′)又是幂等 的(M=M2)。 性质1:X′e=0和i′e=0 证明:由正则方程组,我们得到: [pic] [pic] 所以, i′e=0 由性质1及证明过程我们得到两个推论: 推论1:[pic]和MX=0。 推论2:[pic]和Mi=0。 推论2成立是因为X′的第一行是(1,1,…,1)。 性质2:e和b互不相关。 [pic] [pic] 从几何解释来看这一性质是显然的,e表示Y到子样空间的垂线估计量,[pic]和e互相 垂直。 性质3:残差e的均值向量和协方差阵分别是[pic] 证明:[pic] [pic] [pic] [pic] E(e)=0,暗示[pic]是y的无偏估计量。 性质4:[pic] 证明:最小二乘残差是 [pic], 这是由于MX=0,[pic]的一个估计量将基于残差平方和: [pic] 这个二次型的期望值是 [pic] 我们有 [pic][pic] 由于M是固定的,这就是 [pic] M的迹是 [pic] [pic] 所以, [pic], [pic]的一个无偏估计量是 [pic] (6) 回归的标准误差是s2,其平方根为s。利用s2,我们可以计算估计量b的估计协方差矩阵 : [pic] 通过利用s2替代[pic],我们导出替代(5)中zk的一个统计量。此量 [pic] 是一个标准正态向量[pic]的幂等二次型,所以,它服从自由度为秩(M)=迹(M)=n—K 的x2分布。(6)中的x2分布变量独立于(4)中的标准正态变量,为了证明这一点,只 要证明 [pic] (7a) 独立于[pic]就足够了。我们知道标准正态向量x的一个线性式Lx和一个幂等二次型x ′Ax独立的充分条件是LA=0,令[pic]等x,我们发现这里所需求的是[pic]。这确实成立 ,因为[pic]。 在推导回归分析中许多检验统计量中起中心作用的一般性结果是: 若ε服从正态分布,最小二乘系数估计量b统计独立于残差向量e及包括s2在内的e的所 有函数。 所以,比率 [pic] [pic] (7) 服从自由度为(n—K)的t分布。这是我们作统计推断的基础。 线性约束检验 我们通常对含有不只一个系数的假设检验感兴趣,我们可以利用一个类似于(7)中 的检验统计量。假定我们的假设是 [pic], (通常某些r将为零)左边的样本估计是 [pic] 若[pic]显著异于q,则我们推断样本数据与假设不一致。与(7)一样,将假设基于下式 是很自然的。 [pic] (7a) 我们需要[pic]的标准误差的一个估计。由于[pic]是b的一个线性函数,且我们已估计出 了b的方差矩阵[pic],我们可用下式估计[pic]的方差。 [pic] (7)中的分母是这个量的平方根。若假设是正确的,我们的估计应该反映这一事实,至 少在抽样变化性的范围内如此。这样,若前边的t比率的绝对值大于适当的监界值,则应 对假设产生怀疑。 2、随机X及正态ε下的检验统计量 现在,我们考虑当X是随机的,样本检验统计量和推断方法考虑(7)中检验[pic]的 t统计量: [pic] (8) 以X为条件,t|X服从自由度为(n—K)的t分布。然而,我们感兴趣的是t的边际(即无条 件)分布。正如我们所见,(7a)仅仅在以X为条件时b才是正态分布的,我们还没有证 明它的边际分布是正态分布的。类似地,当X是随机的情况下,在给定X的条件下,我们 得到了(8)式的t统计量,我们还没有证明t边际分布也是以(n-K)为自由度的t分布 。事实上,t的边际分布仍是以(n—K)为自由度的t分布,不论X的分布是什么,甚至不 论X是随机的还是非随机的或者是混合的。 这个令人迷惑的结果来自f(t|X)不是X的函数这一事实,同样的原因可以用来推演不 论X是不是随机的,通常用以检验线性约束的F比率都是有效的。 结论:若干扰项是正态分布的,我们可以在我们的过程中不加变化地进行检验和构造 参数的置信区间,而不去考虑回归量是随机的、非随机的,还是它们的混合。 3、拟合优度和方差分析 由方差分解公式,我们有:[pic]。我们用幂等矩阵M0来表示: [pic] [pic] [pic] 所以,[pic]和[pic] 进一步研究回归平方和SSR与残差平方和SSE,我们可以得到下面三个结论: a)在β=0的假设条件下,回归平方和[pic]服从自由度为K-1的卡方分布x2(K-1); b)残差平方和[pic]服从自由度为n-K的卡方分布x2(n-K); c)在β=0的假设条件下,[pic]服从F(k-1,n-k)分布。 证明:a)M0-M是幂等矩阵。先证明M0M+MM0=2M。 M0M+MM0 [pic] [pic] =2M 从而[pic] [pic] 所以,[pic]。 在β=0的假设条件下,[pic]才服从自由度为K-1的卡方分布x2(K-1)(为什么?) b)因为M是幂等矩阵而且[pic][pic] c)只要验证[pic]即可。 事实上,[pic] [pic]。 和前一章的情况一样,我们要对回归模型的好坏,作出评价,决定系数[pic]就是对 模型拟合的一个度量,计算R2有两个等价的方法。 决定系数[pic] 进一步推导和化解,我们可以得到R2另一个公式。 [pic],以及M0e=e(表示残差已经具有零均值)和X′e=0。 [pic] 所以,[pic] [pic] [pic] [pic] 第一个方法度量了y的总变差中由回归变差所解释的部分,第二个是y的观测值和由估 计的回归方程所产生的预测值间的相关系数的平方。 当利用R2来比较不同的线性统计模型的拟合度时,存在一个严重的缺点,就是它的值 随着解释变量的增多而增大。为了克服这个缺点,我们可以用调整的R2来测度一个模型 的解释能力,这个调整的R2被记[pic],它的表达式为 [pic] [pic] 这里[pic]的无偏估计量,(思考:当y服从正态分布时,[pic]的一个无偏估计量) 。[pic]不同的是,随着解释变量的增多,它的值可能变小,甚至要能取负值。 因为[pic] 所以,SSR=[pic] [pic] [pic] 我们得到了回归方差的另一个表达式,请见多元线性回归模型方差分析表。 表1 多元线性回归模型方差分析 | |来源 |自由度 |均方 | |回归 |[pic] |K-1 | | |残差 |[pic] |n-K |s2 | |总 |[pic] |n-1 |[pic] | |[pic] | 4、回归的显著性检验 一个通常要检验的假定是回归方程作为整体的显著性,这是对除了常数项外所有常数 都为0的假设的联合检验。若所有系数为0,则多重相关系数为0,所以我们可以将这一假 定的一个检验基于R2值上。统计量 [pic] 服从自由度为K-1和n-K的F分布,检验的逻辑是,F统计量是对我们强加所有斜率都是 0的这一约束时的拟合损失的一个度量(R2的全部),若F大,假设被拒绝。 五、预测 多元回归环境下的预测结果与前一章中讨论的那些本质是一样的。假定我们希望预测 与回归向量x0相应的y0值。它将是 [pic] ([pic],且 [pic] i=1,…,n) 由高斯—马尔科夫定理知 [pic] 是y0的最小方差线性无偏估计量。 个体预测(Individual Prediction)误差是 [pic] ([pic],且 [pic] i=1,…,n) 这个估计的预测方差是 [pic] [pic] 若回归含有一个常数项,一个等价的表达式是 [pic] 其中X是X的不包含全为1的列的最后K-1列。这表明,和以前一样,区间的宽度依赖 于x0的元素与数...
上课材料之六
[下载声明]
1.本站的所有资料均为资料作者提供和网友推荐收集整理而来,仅供学习和研究交流使用。如有侵犯到您版权的,请来电指出,本站将立即改正。电话:010-82593357。
2、访问管理资源网的用户必须明白,本站对提供下载的学习资料等不拥有任何权利,版权归该下载资源的合法拥有者所有。
3、本站保证站内提供的所有可下载资源都是按“原样”提供,本站未做过任何改动;但本网站不保证本站提供的下载资源的准确性、安全性和完整性;同时本网站也不承担用户因使用这些下载资源对自己和他人造成任何形式的损失或伤害。
4、未经本网站的明确许可,任何人不得大量链接本站下载资源;不得复制或仿造本网站。本网站对其自行开发的或和他人共同开发的所有内容、技术手段和服务拥有全部知识产权,任何人不得侵害或破坏,也不得擅自使用。
我要上传资料,请点我!
管理工具分类
ISO认证 课程讲义 管理表格 合同大全 法规条例 营销资料 方案报告 说明标准 管理战略 商业计划书 市场分析 战略经营 策划方案 培训讲义 企业上市 采购物流 电子商务 质量管理 企业名录 生产管理 金融知识 电子书 客户管理 企业文化 报告论文 项目管理 财务资料 固定资产 人力资源 管理制度 工作分析 绩效考核资料 面试招聘 人才测评 岗位管理 职业规划 KPI绩效指标 劳资关系 薪酬激励 人力资源案例 人事表格 考勤管理 人事制度 薪资表格 薪资制度 招聘面试表格 岗位分析 员工管理 薪酬管理 绩效管理 入职指引 薪酬设计 绩效管理 绩效管理培训 绩效管理方案 平衡计分卡 绩效评估 绩效考核表格 人力资源规划 安全管理制度 经营管理制度 组织机构管理 办公总务管理 财务管理制度 质量管理制度 会计管理制度 代理连锁制度 销售管理制度 仓库管理制度 CI管理制度 广告策划制度 工程管理制度 采购管理制度 生产管理制度 进出口制度 考勤管理制度 人事管理制度 员工福利制度 咨询诊断制度 信息管理制度 员工培训制度 办公室制度 人力资源管理 企业培训 绩效考核 其它
精品推荐
- 1C语言难点及分析 416
- 2暗促-酒店玫瑰静悄悄地开 719
- 3终端陈列十五大原则 775
- 4****主营业务发展战略设计 687
- 5中小企业物流发展的对策 769
- 6主顾开拓 816
- 7主动推进的客户服务 631
- 8专业媒体策划与购买 689
- 9中远电视广告CF 800
下载排行
- 1社会保障基础知识(ppt) 16695
- 2安全生产事故案例分析(ppt 16695
- 3行政专员岗位职责 16695
- 4品管部岗位职责与任职要求 16695
- 5员工守则 16695
- 6软件验收报告 16695
- 7问卷调查表(范例) 16695
- 8工资发放明细表 16695
- 9文件签收单 16695


