1. 怎么绘制残差图
一、什么是回归分析法
“回归分析”是解析“注目变量”和“因于变量”并明确两者关系的统计方法。此时,我们把因子变量称为“说明变量”,把注目变量称为“目标变量址(被说明变量)”。清楚了回归分析的目的后,下面我们以回归分析预测法的步骤来说明什么是回归分析法:
回归分析是对具有因果关系的影响因素(自变量)和预测对象(因变量)所进行的数理统计分析处理。只有当变量与因变量确实存在某种关系时,建立的回归方程才有意义。因此,作为自变量的因素与作为因变量的预测对象是否有关,相关程度如何,以及判断这种相关程度的把握性多大,就成为进行回归分析必须要解决的问题。进行相关分析,一般要求出相关关系,以相关系数的大小来判断自变量和因变量的相关的程度。
二、回归分析的目的
回归分析的目的大致可分为两种:
第一,“预测”。预测目标变量,求解目标变量y和说明变量(x1,x2,…)的方程。
y=a0+b1x1+b2x2+…+bkxk+误差(方程A)
把方程A叫做(多元)回归方程或者(多元)回归模型。a0是y截距,b1,b2,…,bk是回归系数。当k=l时,只有1个说明变量,叫做一元回归方程。根据最小平方法求解最小误差平方和,非求出y截距和回归系数。若求解回归方程.分別代入x1,x2,…xk的数值,预测y的值。
第二,“因子分析”。因子分析是根据回归分析结果,得出各个自变量对目标变量产生的影响,因此,需要求出各个自变量的影响程度。
希望初学者在阅读接下来的文章之前,首先学习一元回归分析、相关分析、多元回归分析、数量化理论I等知识。
根据最小平方法,使用Excel求解y=a+bx中的a和b。那么什么是最小平方法?
分别从散点图的各个数据标记点,做一条平行于y轴的平行线,相交于图中直线(如下图)
平行线的长度在统计学中叫做“误差”或者‘残差”。误差(残差)是指分析结果的运算值和实际值之间的差。接这,求平行线长度曲平方值。可以把平方值看做边长等于平行线长度的正方形面积(如下图)
最后,求解所有正方形面积之和。确定使面积之和最小的a(截距)和b(回归系数)的值(如下图)。
使用Excel求解回归方程;“工具”→“数据分析”→“回归”,具体操作步骤将在后面的文章中具体会说明。
线性回归的步骤不论是一元还是多元相同,步骤如下:
1、散点图判断变量关系(简单线性);
2、求相关系数及线性验证;
3、求回归系数,建立回归方程;
4、回归方程检验;
5、参数的区间估计;
6、预测;
一元线性回归操作和解释
摘要
一元线性回归可以说是数据分析中非常简单的一个知识点,有一点点统计、分析、建模经验的人都知道这个分析的含义,也会用各种工具来做这个分析。这里面想把这个分析背后的细节讲讲清楚,也就是后面的数学原理。
什么是一元线性回归
回归分析(Regression Analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。举个例子来说吧:
比方说有一个公司,每月的广告费用和销售额,如下表所示:
案例数据
如果我们把广告费和销售额画在二维坐标内,就能够得到一个散点图,如果想探索广告费和销售额的关系,就可以利用一元线性回归做出一条拟合直线:
拟合直线
这条线是怎么画出来的
对于一元线性回归来说,可以看成Y的值是随着X的值变化,每一个实际的X都会有一个实际的Y值,我们叫Y实际,那么我们就是要求出一条直线,每一个实际的X都会有一个直线预测的Y值,我们叫做Y预测,回归线使得每个Y的实际值与预测值之差的平方和最小,即(Y1实际-Y1预测)^2+(Y2实际-Y2预测)^2+ …… +(Yn实际-Yn预测)^2的和最小(这个和叫SSE,后面会具体讲)。
现在来实际求一下这条线:
我们都知道直线在坐标系可以表示为Y=aX+b,所以(Y实际-Y预测)就可以写成(Y实际-(aX实际+b)),于是平方和可以写成a和b的函数。只需要求出让Q最小的a和b的值,那么回归线的也就求出来了。
简单插播一下函数最小值怎么求:
首先,一元函数最小值点的导数为零,比如说Y=X^2,X^2的导数是2X,令2X=0,求得X=0的时候,Y取最小值。
那么实质上二元函数也是一样可以类推。不妨把二元函数图象设想成一个曲面,最小值想象成一个凹陷,那么在这个凹陷底部,从任意方向上看,偏导数都是0。
因此,对于函数Q,分别对于a和b求偏导数,然后令偏导数等于0,就可以得到一个关于a和b的二元方程组,就可以求出a和b了。这个方法被称为最小二乘法。下面是具体的数学演算过程,不愿意看可以直接看后面的结论。
先把公式展开一下:
Q函数表达式展开
然后利用平均数,把上面式子中每个括号里的内容进一步化简。例如
Y^2的平均
则:
上式子两边×n
于是
Q最终化简结果
然后分别对Q求a的偏导数和b的偏导数,令偏导数等于0。
Q分别对a和b求偏导数,令偏导数为0
进一步化简,可以消掉2n,最后得到关于a,b的二元方程组为
关于a,b的 二元方程组
最后得出a和b的求解公式:
最小二乘法求出直线的斜率a和斜率b
有了这个公式,对于广告费和销售额的那个例子,我们就可以算出那条拟合直线具体是什么,分别求出公式中的各种平均数,然后带入即可,最后算出a=1.98,b=2.25
最终的回归拟合直线为Y=1.98X+2.25,利用回归直线可以做一些预测,比如如果投入广告费2万,那么预计销售额为6.2万
评价回归线拟合程度的好坏
我们画出的拟合直线只是一个近似,因为肯定很多的点都没有落在直线上,那么我们的直线拟合程度到底怎么样呢?在统计学中有一个术语叫做R^2(coefficient ofdetermination,中文叫判定系数、拟合优度,决定系数,系统不能上标,这里是R^2是“R的平方”),用来判断回归方程的拟合程度。
首先要明确一下如下几个概念:
总偏差平方和(又称总平方和,SST,Sum of Squaresfor Total):是每个因变量的实际值(给定点的所有Y)与因变量平均值(给定点的所有Y的平均)的差的平方和,即,反映了因变量取值的总体波动情况。如下:
SST公式
回归平方和(SSR,Sum of Squares forRegression):因变量的回归值(直线上的Y值)与其均值(给定点的Y值平均)的差的平方和,即,它是由于自变量x的变化引起的y的变化,反映了y的总偏差中由于x与y之间的线性关系引起的y的变化部分,是可以由回归直线来解释的。
SSR公式
残差平方和(又称误差平方和,SSE,Sum of Squaresfor Error):因变量的各实际观测值(给定点的Y值)与回归值(回归直线上的Y值)的差的平方和,它是除了x对y的线性影响之外的其他因素对y变化的作用,是不能由回归直线来解释的。
这些概念还是有些晦涩,我个人是这么理解的:
就拿广告费和销售额的例子来说,其实广告费只是影响销售额的其中一个比较重要的因素,可能还有经济水平、产品质量、客户服务水平等众多难以说清的因素在影响最终的销售额,那么实际的销售额就是众多因素相互作用最终的结果,由于销售额是波动的,所以用上文提到的每个月的销售额与平均销售额的差的平方和(即总平方和)来表示整体的波动情况。
回归线只表示广告费一个变量的变化对于总销售额的影响,所以必然会造成偏差,所以才会有实际值和回归值是有差异的,因此回归线只能解释一部分影响
那么实际值与回归值的差异,就是除了广告费之外其他无数因素共同作用的结果,是不能用回归线来解释的。
因此SST(总偏差)=SSR(回归线可以解释的偏差)+SSE(回归线不能解释的偏差)
那么所画回归直线的拟合程度的好坏,其实就是看看这条直线(及X和Y的这个线性关系)能够多大程度上反映(或者说解释)Y值的变化,定义
R^2=SSR/SST 或 R^2=1-SSE/SST, R^2的取值在0,1之间,越接近1说明拟合程度越好
假如所有的点都在回归线上,说明SSE为0,则R^2=1,意味着Y的变化100%由X的变化引起,没有其他因素会影响Y,回归线能够完全解释Y的变化。如果R^2很低,说明X和Y之间可能不存在线性关系
还是回到最开始的广告费和销售额的例子,这个回归线的R^2为0.73,说明拟合程度还凑合。
四、相关系数R和判定系数R^2的区别
判定系数R^2来判断回归方程的拟合程度,表示拟合直线能多大程度上反映Y的波动。
在统计中还有一个类似的概念,叫做相关系数R(这个没有平方,学名是皮尔逊相关系数,因为这不是唯一的一个相关系数,而是最常见最常用的一个),用来表示X和Y作为两个随机变量的线性相关程度,取值范围为【-1,1】。
当R=1,说明X和Y完全正相关,即可以用一条直线,把所有样本点(x,y)都串起来,且斜率为正,
当R=-1,说明完全负相关,及可以用一条斜率为负的直线把所有点串起来。
如果在R=0,则说明X和Y没有线性关系,注意,是没有线性关系,说不定有其他关系。
就如同这两个概念的符号表示一样,在数学上可以证明,相关系数R的平方就是判定系数。
变量的显著性检验
变量的显著性检验的目的:剔除回归系数中不显著的解释变量(也就是X),使得模型更简洁。在一元线性模型中,我们只有有一个自变量X,就是要判断X对Y是否有显著性的影响;多元线性回归中,验证每个Xi自身是否真的对Y有显著的影响,不显著的就应该从模型去掉。
变量的显著性检验的思想:用的是纯数理统计中的假设检验的思想。对Xi参数的实际值做一个假设,然后在这个假设成立的情况下,利用已知的样本信息构造一个符合一定分布的(如正态分布、T分布和F分布)的统计量,然后从理论上计算得到这个统计量的概率,如果概率很低(5%以下),根据“小概率事件在一次实验中不可能发生”的统计学基本原理,现在居然发生了!(因为我们的统计量就是根据已知的样本算出来的,这些已知样本就是一次实验)肯定是最开始的假设有问题,所以就可以拒绝最开始的假设,如果概率不低,那就说明假设没问题。
其实涉及到数理统计的内容,真的比较难一句话说清楚,我举个不恰当的例子吧:比如有一个口袋里面装了黑白两种颜色的球一共20个,然后你想知道黑白球数量是否一致,那么如果用假设检验的思路就是这样做:首先假设黑白数量一样,然后随机抽取10个球,但是发现10个都是白的,如果最开始假设黑白数量一样是正确的,那么一下抽到10个白的的概率是很小的,但是这么小概率的事情居然发生了,所以我们有理由相信假设错误,黑白的数量应该是不一样的……
总之,对于所有的回归模型的软件,最终给出的结果都会有参数的显著性检验,忽略掉难懂的数学,我们只需要理解如下几个结论:
T检验用于对某一个自变量Xi对于Y的线性显著性,如果某一个Xi不显著,意味着可以从模型中剔除这个变量,使得模型更简洁。
F检验用于对所有的自变量X在整体上看对于Y的线性显著性
T检验的结果看P-value,F检验看Significant F值,一般要小于0.05,越小越显著(这个0.05其实是显著性水平,是人为设定的,如果比较严格,可以定成0.01,但是也会带来其他一些问题,不细说了)
下图是用EXCEL对广告费和销售额的例子做的回归分析的结果(EXCEL真心是个很强大的工具,用的出神入化一样可以变成超神),可以看出F检验是显著的(Significance F为0.0017),变量X的T检验是显著的(P-value为0.0017),这俩完全一样也好理解,因为我们是一元回归,只有一个自变量X。
用Excel做线性回归分析
还有一点是intercept(截距,也就是Y=aX+b中的那个b)的T检验没有通过,是不显著的,一般来说,只要F检验和关键变量的T检验通过了,模型的预测能力就是OK的。
2. 绘制残差图的目的
判断所求回归模型的好坏。
3. 绘制残差图,如果残差越
的理论y值之间的差值。标准残差,就是各残差的标准方差。在Excel中并不能直接绘制残差图,但可以通过Excel计算出残差值,再用残差值绘制散点图或折线图,从而得到残差图。如果残差图中各点的值差别比较大,说明回归曲线方程与实际值之间差别也比较大。也可以说,残差图的波动幅度,反映了回归方程与实际值之间的差别程度。在Excel操作中,常常通过添加误差线,来反映残差值大小。线性拟合图,在Excel中,应该为线性趋势线。假如原数据区域的x值在A1:A10区域,y值在B1:B10区域,选中A1:B10区域,插入→图表→散点图选中图表中的数据系列,右击,添加趋势线,类型选项卡中选中线性,选项选项卡中,选择显示公式,确定,就可得到线性趋势线和线性回归方程(方程为y=bx+a的形式)。在C1单元格输入=A1*b+a(注意,公式中的a、b要换成回归方程中的相应数值)向下复制公式就可以得到线性回归的理论值在D1中输入公式=B1-C1向下复制公式,就得到各x值对应的残差
4. 绘制残差图SPSS
回归的对话框里面有一个save按钮,点一下。然后出来save对话框右侧就是residuals残差的选项,你可以选根据需要选择你要的残差类型。回归完成后,会多一列数据的。
5. 绘制残差图时,横坐标的值可以选用的有
标准残差,就是各残差的标准方差,即是残差的平方和除以(残差个数-1)的平方根。以δ表示。残差δ遵从正态分布N(0,σ2)。(δ-残差的均值)/残差的标准差,称为标准化残差,以δ*表示。δ*遵从标准正态分布N(0,1)。实验点的标准化残差落在(-2,2)区间以外的概率≤0.05。若某一实验点的标准化残差落在(-2,2)区间以外,可在95%置信度将其判为异常实验点,不参与回归线拟合。拓展资料通常横坐标的选择有三种:因变量的拟合值;自变量;当因变量的观测值为一时间序列时,横坐标可取观测时间或观测序号。残差图的分布趋势可以帮助判明所拟合的线性模型是否满足有关假设。如残差是否近似正态分布、是否方差齐次,变量间是否有其它非线性关系及是否还有重要自变量未进入模型等。.当判明有某种假设条件欠缺时,进一步的问题就是加以校正或补救。需分析具体情况,探索合适的校正方案,如非线性处理,引入新自变量,或考察误差是否有自相关性。
6. 绘制残差图,所选模型越好
能为负。
残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话, 我们可以将残差看作误差的观测值。
它应符合模型的假设条件,且具有误差的一些性质。利用残差所提供的信息,来考察模型假设的合理性及数据的可靠性称为残差分析。
求spss残差的具体操作步骤如下:
1、首先,单击上方菜单栏的Analysis-Regression-Linear,打开Linear
Regression对话框,然后进入下一步。
2、其次,在弹出窗口中,将自变量和因变量放在各自的位置,dependent是因变量,independent是自变量列,然后进入下一步。
3、接着,设置好后,单击“plots”选项以设置要绘制的图形,然后进入下一步。
4、然后,在弹出窗口中,将y轴设置为概率,将x轴设置为残差,然后进入下一步。
5、随后,勾选直方图和pp图,以便可以输出这两个图,单击【continue】返回到主菜单,然后进入下一步。
6、接着,单击下方的【ok】开始输出数据,然后进入下一步
7、最后,就通过SPSS求出残差了,这样,问题就解决了。
7. 绘制残差图时横坐标的值可以选用自变量序号吗
点校正就是将RTK测出来的WGS-84坐标转换成当地平面直角坐标系统。
在工程应用中使用GPS卫星定位系统采集到的数据是WGS-84坐标系数据,而目前我们测量成果普遍使用的是以1954年北京坐标系或是地方(任意|当地)独立坐标系为基础的坐标数据。因此必须将WGS-84坐标转换到BJ-54坐标系或地方(任意)独立坐标系。
坐标系统之间的转换可以利用现有的七参数(三个坐标的平移量、三个坐标轴的旋转角,同一段直线的长度在两个坐标系中的尺度比k)三参数(七参数的特例,尺比为1,方向一样的情况),也可以利用华测RTK自带的测地通软件进行点校正求四参数和高程拟合。
单点校正:利用一个点的 WGS84坐标和当地坐标可以求出3个平移参数,旋转为零,比例因子为1。在不知道当地坐标系统的旋转、比例因子的情况下,单点校正的精度无法保障,控制范围更无法确定。因此建议尽量不要使用这种方式。
两点校正:可求出3个坐标平移参数、旋转和比例因子,各残差都为零。比例因子至少在0.9至1.0之间,超过此数值,精度容易出问题或者已知点有问题;旋转的角度一般都比较小,都在分以下如(0度0分0.02秒),如果旋转上度,就要注意是不是已知点有问题或是中央子午线的问题。(尽量不用两点校正)
三点校正:三个点做点校正,有水平残参,无垂直残差。
四点校正:四个点做点校正,既有水平残参,也有垂直残差。
点校正时的注意事项:
1、已知点最好要分布在整个作业区域的边缘,能控制整个区域,并避免短边控制长边。例如,如果用四个点做点校正的话,那么测量作业的区域最好在这四个点连成的四边形内部;
2、一定要避免已知点的线形分布。例如,如果用三个已知点进行点校正,这三个点组成的三角形要尽量接近正三角形,如果是四个点,就要尽量接近正方形,一定要避免所有的已知点的分布接近一条直线,这样会严重的影响测量的精度,特别是高程精度;
3、如果在测量任务里只需要水平的坐标,不需要高程,建议用户至少要用两个点进行校正,但如果要检核已知点的水平残差,那么至少要用三个点;如果既需要水平坐标又需要高程,建议用户至少用三个点进行点校正,但如果要检核已知点的水平残差和垂直残差,那么至少需要四个点进行校正;
4、注意坐标系统,中央子午线,投影面(特别是海拔比较高的地方),控制点与放样点是否是一个投影带;
5、 已知点之间的匹配程度也很重要,比如GPS 观测的已知点和国家的三角已知点,如果同时使用的话,检核的时候水平残差有可能会很大的;
6、如果有3 个以上的点作点校正,检查一下水平残差和垂直残差的数值,看其是否满足用户的测量精度要求,如果残差太大,残差不要超过2 厘米,如果太大先检查已知点输入是否有误,如果无误的话,就是已知点的匹配有问题,要更换已知点了;
7、对于高程要特别注意控制点的线性分布(几个控制点分布在一条线上),特别是做线路工程,参与校正的高程点建议不要超过2个点(即在校正时,校正方法里不要超过两个点选垂直平差的)。
8、如果一个区域比较大,控制点比较多,要分区做校正,不要一个区域十几个点或更多的点全部参与校正。
9、注意一个区域只做一次点校正即可,后面的再测量只需要重设当地坐标即可。
8. 绘制残差图matlab
设拟合的2元2次方程为
f(x,y)=b1*x²+b2*x*y+b3*y²+b4*x+b5*y+b6
用Matlab的regress()函数拟合,也可以用自定义函数拟合。regress()函数命令格式为
[B,BINT,R,RINT,STATS] = REGRESS(Y,X)
B——参数估计值,拟合函数系数
BINT——B的置信区间
R——残差向量,测试值与拟合值的差值
RINT——R的置信区间
STATS——检验统计量,置信度、F统计量,p值
Y——因变量观察值
X——自变量观察值
根据提供的数据,通过拟合得
B1 =0
B2 =-1734024.851
B3 =-31661318.71
B4 =3785724.073
B5 =9670754.012
B6 =-512586.098
9. 绘制残差图时横坐标的值可以选用数据观测时间
有残差图的定义知道,作图时纵坐标为残差,横坐标可以选为样本编号,或身高数据,或体重的估计值,这样做出的图形称为残差图.故答案为:残差.
- 相关评论
- 我要评论
-