使用Matlab对数据归一化

2022-09-10 13:54:48 浏览数 (1)

大家好,又见面了,我是你们的朋友全栈君。

前言

在使用机器学习做分类和回归分析时,往往需要对训练和测试数据首先做归一化处理。这里就对使用MATLAB对数据进行归一化方法做一个小总结。

为什么进行归一化

一般做机器学习应用的时候大部分时间是花费在特征处理上,其中很关键的一步就是对特征数据进行归一化。关于为什么进行归一化处理维基百科给出的解释是:1)归一化后加快了梯度下降求最优解的速度;2)归一化有可能提高精度。 具体介绍:https://www.cnblogs.com/davidwang456/articles/9729746.html

使用MATLAB归一化

对于模式识别或者其他统计学来说,训练数据和测试数据应该是每一列是一个样本,每一行是多个样本的同一维,即对于一个M*N的矩阵来说,样本的维度是M,一共N列N个样本。而对数据归一化也应该是对同一维的数据进行归一化。MATLAB提供了归一化函数mapminmax,其主要调用形式有:

代码语言:javascript复制
1. [Y,PS] = mapminmax(X,YMIN,YMAX)
2. [Y,PS] = mapminmax(X,FP)
3. Y = mapminmax('apply',X,PS)
4. X = mapminmax('reverse',Y,PS)

对于1和2的调用形式来说,X是预处理的数据,Ymin和Ymax是期望的每一行的最小值与最大值,FP是一个结构体成员主要是FP.ymin, FP.ymax.这个结构体就可以代替Ymin和Ymax,1和2的处理效果一样,只不过参数的带入形式不同。不设置YMIN 和YMAX,归一化范围为0~1。 示例:

代码语言:javascript复制
x=[2,3,4,5,6;7,8,9,10,11];
[Y,PS] = mapminmax(x,0,1);
fp.ymin=0;
fp.ymax=1;
[Y,PS] = mapminmax(x,fp);

结果:

代码语言:javascript复制
0	0.250000000000000	0.500000000000000	0.750000000000000	1
0	0.250000000000000	0.500000000000000	0.750000000000000	1

而对于3式,在模式识别或者统计学里,PS是训练样本的数据的映射,即PS中包含了训练数据的最大值和最小值,式中的X是测试样本,对于测试样本来说,预处理应该和训练样本一致,即测试样本的最大值和最小值应该是训练集的最大值与最小值。假设x是训练样本,y是测试样本,则代码如下: 示例:

代码语言:javascript复制
x=[2,3,4,5,6;7,8,9,10,11];
y=[2,3;4,5];
[xx,ps]=mapminmax(x,0,1);
yy=mapminmax('apply',y,ps)

但对于训练样本和测试样本,一般是将两者合起来一起归一化,例如要将train,test一起归一化:

代码语言:javascript复制
[mtrain,ntrain]=size(train);
[mtest,ntest]=size(test);
dataset=[train;test];
[dataset_scale,ps]=mapminmax(dataset',0,1);
train=dataset_scale(1:mtrain,:);
test=dataset_scale((mtrain 1):(mtrain mtest),:);

对于4式,是预处理之后的数据进行反转得到原始数据

代码语言:javascript复制
x=[2,3,4,5,6;7,8,9,10,11];
y=[2,3;4,5];
[xx,ps]=mapminmax(x,0,1);
yy=mapminmax('apply',y,ps);
y=mapminmax('reverse',yy,ps)

归一化算法描述

y ′ = l o w e r ( u p p e r − l o w e r ) ∗ ( y − m i n ) / ( m a x − m i n ) y’=lower (upper-lower)*(y-min)/(max-min) y′=lower (upper−lower)∗(y−min)/(max−min) 其中,y表示原始数据,y’表示经过归一化后的数据。

按列进行归一化

mapminmax函数默认是按行进行归一化的。当我们使用libsvm工具箱进行回归分析时,其数据组织要求一行表示一个样本数据,因此我们需要掌握如何使用mapminmax函数按列进行归一化的方法。

基于magic函数生成测试数据,假设有5个样本。

代码语言:javascript复制
train = magic(5);
代码语言:javascript复制
    17    24     1     8    15
    23     5     7    14    16
     4     6    13    20    22
    10    12    19    21     3
    11    18    25     2     9

假设第1列数据为因变量数据,第2、3、4和5列数据为自变量数据。每一列数据的属性相同,假设第1列数据表征身体的健康分数,2、3、4和5列是一些测量指标(如:体重、身高等)。在对数据进行归一化时,应该对每一列进行归一化,而不是将体重和升高一起进行归一化。 由于mapminmax只能按行进行归一化,因此,我们只需要对训练数据进行转置,然后进行归一化,归一化后再转置回来即可。

代码语言:javascript复制
t      = magic(5);          % 训练数据
x      = t';                % 转置
[y,ps] = mapminmax(x,0,1);  % 归一化
tn     = y';                % 转置

结果:

代码语言:javascript复制
    0.6842    1.0000         0    0.3158    0.6316
    1.0000         0    0.2500    0.6316    0.6842
         0    0.0526    0.5000    0.9474    1.0000
    0.3158    0.3684    0.7500    1.0000         0
    0.3684    0.6842    1.0000         0    0.3158

如果觉得上述方法不够简单,还可以使用下面的函数进行归一化: 描述

代码语言:javascript复制
t = magic(5)
scaleSVM(t,0,1)
代码语言:javascript复制
function out_scale = scaleSVM(c,lower,upper)
%   设置归一化范围 [lower ,upper]
%   按列进行归一化
[m,n]=size(c);                              %%获取行数m 和 列数  n
                             
Cmax=zeros(1,n);                         
Cmin=zeros(1,n);                         
for i=1:n
     Cmax(1,i)=max(c(:,i));                 %%Cmax用来保存每一列中的最大值
end
for i=1:n
    Cmin(1,i)=min(c(:,i));                  %%Cmin用来保存每一列中的最小值
end
for i=1:m
    for j=1:n
        c(i,j)=lower (upper-lower)*(c(i,j)-Cmin(1,j))/(Cmax(1,j)-Cmin(1,j));  %%执行前述的公式进行归一化
    end
end
out_scale=c;
end

参考: https://www.mathworks.com/help/deeplearning/ref/mapminmax.html;jsessionid=8db547639f6ef5a379e2738db0ef https://blog.csdn.net/qq_22625309/article/details/76576184 https://www.cnblogs.com/litthorse/p/9276594.html

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/152292.html原文链接:https://javaforall.cn

0 人点赞