回归直线方程的推导

回归直线方程的推导

山东 王加祥 范玉峰

设x与y是具有线性相关关系的两个变量,且相应于样本的一组观测值的n个点的坐标(x2,y2),(x3,y3),,(xn,yn),下面给出回归方程的推导. 分别是:(x1,y1),

,2,3,,n). 设所求的回归方程为显然,上面的各个偏差的符号有正、yibxia,(i1

有负,如果将他们相加会相互抵消一部分,因此他们的和不能代表n个点与回归直线的整体上的接近程度,因而采用n个偏差的平方和Q来表示n个点与相应直线(回归直线)在整体上的接近程度,

yi)2(yibxia)2(y2bx2a)2(y3bx3a)2(ynbxna)2. 即Q(yi

i1

i1

n

n

求出当Q取最小值时的a,b的值,就求出了回归方程.

一、先证明两个在变形中用到的公式 公式(一)(xix)xi2nx,其中x

2

i1

i1

n

n

n

2

x1x2xn

n

证明:∵(xix)2(x1x)2(x2x)2(xnx)2

i1

22

x12x2xn2nx

2(x1x2xn)

nx

n

2

2

21

22

2n

n

2

(xxx)2nxnx(xxx)xi2nx

21

22

2n

i1

∴(xix)xi2nx.

2

i1

i1

nn

2

公式(二)(xix)(yiy)xiyinxy

i1

i1

nn

证明:∵(xix)(yiy)(x1x)(y1y)(x2x)(y2y)(xnx)(yny)

i1

n

(x1y1x2y2xnyn)(x1yy1xx2yy2xxnyynx)nxy xiyi[(x1x2xn)y(y1y2yn)x]nxy

i1nn

(yy2yn)(xx2xn)

xiyin1y1xnxy

nni1xiyi2nxynxyxiyinxy,

i1n

i1

n

n

∴(xix)(yiy)xiyinxy.

i1

i1

n

二、推导:将Q的表达式的各项先展开,再合并、变形

Q(y1bx1a)2(y2bx2a)2(y3bx3a)2(ynbxna)2

22

(y12y2ny2)[2yxa)22y(ba)]展开 1(b12x

y2bxiyi2ayib

2

ii1

i1

i1

nnn

2

x

i1

n

2i

2abxina2合并同类项

i1

n

n

n

xiyi

na22nai1bi1

nn

nnn

b2xi22bxiyiyi2以a,b的次数为标准整理 i1i1i1

2i

na2na(ybx)b

2

22

x

i1

n

2bxiyiyi2转化为平均数x,y

i1n

i1

2

nn

n[a(ybx)]n(ybx)b

2

2

x

i1

2

i2

2bxiyiyi2配方法

i1n

i1n

n

nn

n[a(ybx)]2ny2nbxynb2xb2xi22bxiyiyi2展开

i1

i1

i1

n[a(ybx)]b(xnx)2b(xiyinxy)(yi2ny)整理

2

2

2ii1

i1

i1n

n

2

nn

2

n[a(ybx)]b

22

(x

i1

n

i

x)2b(xix)(yiy)(yiy)2用公式(一)、(二)

2

i1

i1

n

变形

n



(xx)(yy)iinn

222i1

n[a(ybx)](xix)b(yy)配方 in

i1i1

(xix)2i1

n

n

(xx)(yy)(xx)(yy)iiiinn2

i122i1(xix)bna(ybx)(yy)inni1i1

(x1x)2(xix)2i1i1

22

配方法

在上式中,共有四项,后两项与a,b无关,为常数;前两项是两个非负数的和,因此

n

要使得Q取得最小值,当且仅当前两项的值都为0.所以aybx,b

(x

i1

n

i

x)(yiy)

i

(x

i1

x)

2

b

xy

ii1

n

n

i

nxynx

2

用公式(一)、(二)变形得

x

i1

2

i

三、总结规律

上述推导过程是围绕着待定参数a,b进行的,只含有xi,yi的部分是常数或系数,用到 的方法有:①配方法,有两次配方,分别是a的二次三项式和b的二次三项式;②变形时,用到公式(一)、(二)和整体思想;③用平方的非负性求最小值.④实际计算时,通常是分

步计算:先求出x,再分别计算(xix)(yiy),(xix)或xiyinxy,xi2nxy,

2

i1

i1

i1

i1

nnnn

2

的值,最后就可以计算出a,b的值.


相关内容

  • 线性回归推导及实例

    数据点基本落在一条直线附近.这告诉我们,变量X 与Y 的关系大致可看作是线性关系,即它们之间的相互关系可以用线性关系来描述.但是由于并非所有的数据点完全落在一条直线上,因此X 与Y 的关系并没有确切到可以唯一地由一个X 值确定一个Y 值的程 ...


  • 线性回归的教案

    线性回归 一. 教学目标 (a ) 知识与技能 1. 了解相关关系.回归分析.散点图的概念. 2. 了解回归分析的必要性和回归分析的一般步骤,会求回归直线方程. 3. 体会回归分析的实际价值和基本思想,并会用回归分析对具体事件进行分析. ( ...


  • 高中必修三统计知识点整理

    高中数学必修3知识点总结 第二章 统计 2.1.1 简单随机抽样 1.简单随机抽样,也叫纯随机抽样.就是从总体中不加任何分组.划类.排队等,完全随机地抽取调查单位.特点是:每个样本单位被抽中的可能性相同(概率相等),样本的每个单位完全独立, ...


  • 中职数学(基础模块)教案

    中职数学(基础模块)教案 1.1集合的概念 知识目标:(1)理解集合.元素及其关系:(2)掌握集合的列举法与描述法, 会用适当的方法表示集合. 能力目标:通过集合语言的学习与运用,培养学生的数学思维能力. 教学重点:集合的表示法. 教学难点 ...


  • 对重庆市2014年文科数学考试说明的解读

    对重庆市2014年文科数学考试说明的解读 余 毅 一. 从能力要求分析,共有七大能力要求:空间想象能力.抽象概括能力.推理论证能力.运算求解能力.数据处理能力以及应用意识和创新意识. 1. 空间想像能力是对空间形式的观察.分析.抽象的能力. ...


  • 一元线性回归案例

    8.5一元线性回归案例 一.教学内容与教学对象分析 学生将在必修课程学习统计的基础上,通过对典型案例的讨论,了解和使用一些常用的统计方法,进一步体会运用统计方法解决实际问题的基本思想,认识统计方法在决策中的作用. 二.学习目标 1.知识与技 ...


  • 对高中数学课标教材的分析与研究

    对高中数学课标教材的分析与研究 博兴一中孙翠玲 自2004年9月开始,各个版本的高中数学课程标准实验教科书开始在全国范围内实验.与原来大纲教材相比,各个版本课标教材在知识内容的体系安排,教材的组织形式和呈现方式等方面都做了很大的改革,这些变 ...


  • 高中数学概率统计知识万能公式(文科)

    第六部分 概率与统计万能知识点及经典题型Ⅰ [考题分析] 1.考试题型:选择填空1个,解答题:18(必考) 2.考题分值:17分: 3.解答题考点:①频率直方图的应用,②线性回归直线的应用,③独立性检验和概率 4.难度系数:0.7-0.8左 ...


  • 两条直线的位置关系

    教学目标 (1)熟练掌握两条直线平行与垂直的充要条件,能够根据直线的方程判断. (2)理解一条直线到另一条直线的角的概念,掌握两条直线的夹角. (3)能够根据两条直线的方程求出它们的交点坐标. (4)掌握点到直线距离公式的推导和应用. (5 ...