单变量线性回归模型与结果解读

2019-07-15 17:10:58 浏览数 (1)

模型一般形式

统计模型的一般形式是Y=m(X) e。其中Y为输出变量、响应变量、因变量、被解释变量;m为均值;e为不可控因子,可以理解为噪声。故模型等式右边是用X组成的函数去描述Y的均值,即模型是在平均的意义下去描述自变量与因变量间的关系,所以在解读模型的时候,我不会将模型说死

模型中不同形式的m(X)会幻化为不同的模型体系,一般可以将模型分为两大类:

1、m(X)可以幻化为数学公式,即公式模型,一般比较成熟的都是公式模型,例如回归模型的理论与底蕴就比较完善,模型的假定都是可以进行检验的;

2、m(X)过于复杂,用公式无法描述,需要用算法去描述,即算法模型,例如决策树模型

其实,建模的作用就是将看上去不太可能的事情联系到一起,同时又能将事情的来龙去脉解释清楚。模型构建之前都有假定,模型构建的好不好、是否合适都取决于模型是否符合假定,当然更核心的还是要关注模型在业务场景的应用,这才是建模的最主要的目的。

回归的基本思路

在模型领域,解释性较好的模型毋庸置疑就是回归。回归模型主要能做两件事情,一是用模型去体现事物间的关系,即解释模型变量间的关系;二是用模型进行预测

如下图所示,回归建模的工作流程即 将客观现实转化为数据后进行建模,终极目标是用数学模型将事物的来龙去脉解释清楚,作为数据分析师,讲故事的能力真的非常重要。

回归模型里的坑

构建回归模型时经常需要对变量进行变换,在调整量纲的过程中不怕数据长度发生变化的是数据的相对长度发生变化,因为眼睛能看到的空间为欧式空间,欧式空间的弱点是数据很容易受到量纲的影响,所以在构建模型进行数据变换的时候并不能随心所欲的变换。

数据变换过程中我经常会使用BOX-COX变换,这种变换的方法为:

1、λ不等于0的时候,

2、λ等于0的时候,

这种BOX-COX的数据变换方式有几个特点:

1、这种变换可以改变分布形状,使数据成为对称甚至正态分布,至少,这种变换能将数据分布往正态分布方向拉一拉

2、这种变换能保持原数据的大小次序;

3、这种变换对变换结果有比较好的解释。例如:

λ=2的时候变换变为了

,可以叫做平方变换;

λ=1的时候变换变为了

,可以叫做恒等变换;

λ=0.5的时候变换变为

,可以叫做平方根变换;

λ=0的时候可以叫做对数变换;

λ=-0.5的时候,y可以叫做平方根倒数变换;

4、变换需要y的最大值和y的最小值的比值要大于2,即原始数据Y的最大值和最小值的变化范围不能太小使用BOX-COX变换才是有效的,如果变化范围过小则数据不敏感。但是实际工作中我还没有遇到过比值小于2的情况

怎样衡量模型好坏

建模过程中首先应该考虑检验能否通过,如果检验通过,则需要考虑模型好不好、行不行,即必须要进行模型诊断,任何一个模型都有一个正常、期待的样子,即假定,模型建好后都应该看下模型拟合的结果是否符合假定,建模不是很难的过程,困难的点在于数据是否符合假定的衡量。

简单线性回归模型的假定

简单线性回归模型有下面几个假定:

1、线性假定

所谓线性假定指构建模型时需将模型构建成线性的模式,例如Y=b0 b1x2 e,虽然是x2的形式,但可将x2的整体看做X。即在进行参数估计的时候,自变量X可以采用任何形式,但是模型整体需要保证是类线性的模式;

2、正交假定

X和e之间不相关;

3、独立同分布

残差间相互独立,方差需齐性,即相等;

4、Y服从正态分布

一般直接检验因变量Y是不是正态分布比较麻烦,实际检验的是残差。

单变量线性回归模型SAS示例

单变量线性回归模型一般形式为:Y=b0 b1X1 e。其中Y为因变量,X为自变量或预测变量,e为扰动项,b为模型的系数。如下示例建模背景为针对消费与收入构建单变量线性回归模型,下面为SAS实现代码以及我对模型结果的解读思路:

PROC REG DATA=XUHUI PLOTS(ONLY)=ALL;

Linear_Regression_Model:

MODEL cost=income/dw spec;

OUTPUT OUT=result

PREDICTED=predicted_cost

RESIDUAL=residual_cost

STUDENT=student_cost

RSTUDENT=rstudent_cost;

RUN;

QUIT;

结果解读:

1、看F检验结果与调整R方:

F检验,如果P值小则为合理;

调整R方,这里调整R方过小,说明这个一元回归模型可能仅仅一个自变量是不够的;

2、看DW与spc:

DW为自相关衡量指标,靠近2没有自相关,靠近4和0有自相关,这里DW为1.42有点靠近未判定区。一般,DW只能检验一阶自相关,更复杂的情况无法检验;

spc为异方差检验指标,即怀特检验,即下方第一和第二距制定的检验,P值小表明没有异方差。

其实,DW检验也好、怀特检验也好,都属于弱检验,他们的检验结果的可靠性和实用性不大,只能作为参考,一般实际中我还是会去看残差图再次进行检验。

3、看分布,类似钟型,如果不是钟型可以对Y做Box-Cox变换。

4、利用预测值残差图查看模型是否符合假定

如果模型符合假定,那么模型的残差均值为0、方差为常数,图形中方差用范围去体现,比较期望的状态应该是以均值为中心、区间保持稳定。这里残差图的形态说明出现了异方差,即消费越大花钱的方差越大,需要进行变换,这个地方我不太喜欢用最小二乘的方法进行处理,一般我会想去用合适的方法对变量进行变换。

5、拟合诊断图

第一列图形用于判断数据是否是正态,右上角的四张图用于判断强影响点。

0 人点赞