文章目录
- 最小二乘法
- 思路
- numpy实现
最小二乘法
高斯证明了最小二乘法的最优性质,在所有五篇的线性估计类中,最小二乘法是其中方差最小的. 对于数据 (xi,yi)(i=1,2,3...,m) 拟合出函数 h(x) 有误差，即残差： ri=h(xi)−yi 此时L2范数(残差平方和)最小时，h(x) 和 y 相似度最高，更拟合
思路
一般的H(x)为n次的多项式，H(x)=w_0 w_1x w_2x^2 ...w_nx^n
w(w_0,w_1,w_2,...,w_n) 为参数
最小二乘法就是要找到一组 w(w_0,w_1,w_2,...,w_n) 使得 sum_{i=1}^n(h(x_i)-y_i)^2 (残差平方和) 最小即，求 minsum_{i=1}^n(h(x_i)-y_i)^2
numpy实现
代码语言：javascript复制# -*- coding:utf-8 -*-
# /usr/bin/python
import numpy as np
import scipy as sp
from scipy.optimize import leastsq
import matplotlib.pyplot as plt
p = 9 # 多项式次数
def realFunc(x):
'''真实目标函数'''
return np.sin(2*np.pi * x)
def fitFunc(p,x):
'''多项式插值函数'''
f = np.poly1d(p)
return f(x)
def lossFunc(p,x,y):
'''残差'''
ret = fitFunc(p,x)-y
return ret
def fitting(M,x,y):
"""
p 为 多项式的次数
"""
# 随机初始化多项式参数
p_init = np.random.rand(M 1)
# 最小二乘法
p_lsq = leastsq(lossFunc, p_init, args=(x, y))
print('Fitting Parameters:', p_lsq[0])
# 可视化
plt.plot(x, y, label='real')
plt.plot(x, fitFunc(p_lsq[0], x), label='fitted curve')
plt.plot(x, y, 'bo', label='noise')
plt.legend()
plt.show()
return p_lsq
# 构造数据集
x = np.linspace(0, 1, 10)
y = realFunc(x) # 真实函数输出加噪声
p_lsq_3 = fitting(3,x,y)
