理解神经网络的本质

一、前言

最近深度学习是一个比较热门的词，各行各业都声称自己使用了深度学习技术。现在“深度学习”这个词，就像印在球鞋上的“Fashion”、“Sport”。那深度学习到底是什么呢？

深度学习是机器学习的一个分支，当我们使用了“深度神经网络”算法进行机器学习时，我们就可以说自己在搞深度学习。而这个“神经网络”算法就是我们今天的主题。

关于机器学习的内容，各位读者可以参考Python快速构建神经网络。

在本文我依然是从线性回归开始说起。在上一篇文章，只是简单说了一下神经网络，却没有详细说神经网络的本质。在本文，作者将为大家详细说说，神经网络的全貌。

二、线性回归

2.1、直线方程

如果说线性回归很多读者没有听过的话，那么我相信你应该听过直线方程。在中学的学习中，我们通常会用下面的方程表示一根直线：

y = kx b

其实线性回归也是这么一个简单的方程，或者说函数。我们现在回到初中，来解决下面这个问题。

直线l经过点A（1, 4），和点B（3， 7），求直线l的方程。

这个问题很简单，我们只需要将A、B点带入y = kx b就可以得到下面方程组：

begin{cases} 4 = k b \ 7 = 3k b end{cases}

由上面的方程组，我们可以解出：

begin{cases} k = 1.5 \ b = 2.5 end{cases}

于是我们得到直线方程：

y = 1.5x 2.5

在我们得到直线方程后，我们对于任意给定的x，都能知道它对应的y。现在我们需要对问题进行调整。

2.2、线性回归

现在我们有下面这组数据：

代码语言：javascript复制

(1, 12)
(2, 16)
(3, 22)
(4, 26)
(5, 29)
(6, 33)
(7, 37)
(8, 41)
(9, 45)
(10, 48)

我们还是假设上面的点都在一条直线上，这时候我们先取点(1,12)和点(4,26)，我们可以算出直线方程为如下：

y = 4x 8

现在我们再选取点(2,16)和点(6,33)，我们可以计算出下面的直线方程：

y = frac{17}{4}x frac{15}{2}

由此可以看到这四个点并不在同一条直线上。但是对比斜率和截距又发现，两者很相近。所以我们可以找一条折中的直线来拟合所有的点。

我们从数据中，找到这条最优（较优）的直线的过程就叫做线性回归。

三、非线性的问题

3.1、分段函数

在前面，我们讨论的数据都是从一条直线中产生的。但是有时候我们的数据的分布可能并没有那么简单，我们的数据分布可能更接近一个分段函数，比如下面的图片：

这个时候用线性方程就表示不了我们数据的分布。那我们要怎么表示上面的方程呢？

我们可以把上面的函数看出是一系列特殊函数的相加，这个特殊函数的图像如下：

从图像可以看出，这个函数只在某一个范围内有斜率。在范围左侧的值为0，当超出范围右侧后值不再改变。我们可以通过调整这个函数的斜率以及斜率生效的范围，来得到各式各样的函数，比如下面几个：

函数1到4都是都是通过调节特殊函数的斜率以及斜率生效范围生成的。只有第一个函数比较特别，它的斜率生效范围为空。

那么我们怎么用这些特殊函数组成一个分段函数呢？其实只要你仔细观察，就会发现把这四个函数相加就是我们最开始的分段函数。如下图，这里为了方便观看将特殊函数移动了位置。

现在我们可以把上面的函数简写成：

y = f1(x) f2(x) f3(x) f4(x)

为了更直观看到效果。下面我们用程序来合成一下这个分段函数。

3.2、合成分段函数

我们先编写一个创建特殊函数的函数，代码如下：

代码语言：javascript复制

def create_special(x, start, end, k):
    f = []
    temp = 0
    for i in x:
        # 当小于起始值函数值为0
        if i <= start:
            f.append(0)
        # 当在一定范围，为一个截距为0，斜率为k的直线
        elif start < i <= end:
            # 这里start不为0，所以我们需要减去它，保证函数截距为0，然后乘k
            f.append((i - start) * k)
            # 记录最后的值
            temp = (i - start) * k
        # 当超出范围则值保持不变
        else:
            f.append(temp)
    return np.array(f)

我们来用上面的函数绘制几个图像：

代码语言：javascript复制

import numpy as np
import matplotlib.pyplot as plt


def create_special(x, start, end, k):
    pass


if __name__ == '__main__':
    x = np.linspace(0, 20, 200)
    y1 = create_special(x, 10, 20, 2)
    y2 = create_special(x, 5, 10, 3)
    y3 = create_special(x, 0, 15, -4)
    y4 = create_special(x, 0, 12, 1)
    plt.subplot(221)
    plt.plot(x, y1)
    plt.title("k = 2")
    plt.subplot(222)
    plt.plot(x, y2)
    plt.title("k = 3")
    plt.subplot(223)
    plt.plot(x, y3)
    plt.title("k = -4")
    plt.subplot(224)
    plt.plot(x, y4)
    plt.title("k = 1")
    plt.show()

绘制的图像如下：

不同参数的特殊函数

可以看到，生成了我们想要的特殊函数。于是我们就可以用这些特殊函数来拟合一些分段函数，下面是其中一个例子：

代码语言：javascript复制

import numpy as np
import matplotlib.pyplot as plt


def create_special(x, start, end, k):
    pass


if __name__ == '__main__':
    x = np.linspace(0, 20, 200)
    y1 = create_special(x, 0, 10, 2)
    y2 = create_special(x, 10, 15, -3)
    y3 = create_special(x, 15, 20, 1)
    y = 3   y1   y2   y3
    plt.plot(x, y, c='r')
    plt.show()

我们生成的图像如下：