1 什么是神经网络?

神经网络是一类受人脑启示的算法,通常来说当你打开你的眼睛的时候,你所看到的事物在神经学上称之为数据,在大脑进行数据处理并进行周围物体识别.这就是神经网络工作的原理,它将大量数据作为输入,从数据中学习特征,最后输出这些数据是什么.

2 神经网络工作原理

神经网络有时候称之为人工神经网络,是机器学习的子集,是深度学习算法的核心.人工神经网络由大量互连的处理单元（神经元）组成，它们协同工作用以解决特定问题。

人工神经网络,向人类像孩子一样通过样本来进行学习.人工神经网络当前被用于很多特定的应用,比如模式识别,图像分类,语音识别或者自然语言处理等.
神经网络通常来说可以逼近任何函数,也就是说通过迭代学习神经网络可以学习任何函数的逼近.

上图中神经网络预测输入数字图像的识别任务,这里它预测输入的图像为数字2.

神经网络一般分为以下几种类别: 卷积神经网络(CNN) 循环神经网络(RNN) 以及长短期记忆网络(LSTM).

3. 为什么要使用CNN?

我们知道卷积神经网络擅长图像识别任务。现在我们考虑上述数字图像识别任务，我们可以通过神经网络来实现，但问题是，如果输入图像尺寸很大，那么神经网络的参数数量就会急剧增加,这使得神经网络训练变慢并消耗大量计算资源。

举例来说:如果我们处理的图像的输入为64X64X3,那么我么你输入的参数维度为12288,但是如果我们想要输入的尺寸变大为1000X1000X3,此时我们拥有3百万输入参数,这将需要花费大量时间和计算资源.

使用CNN可以实现图像处理中的各项任务,接下来我们举例说明以下CNN的一些常见应用:

1) 目标检测:

2) 边缘检测

3) 语义分割

4) 图像描述

5) 问答系统

6) 风格迁移

上述只是CNN在计算机视觉中一些常用的应用,当然CNN在图像处理领域的应用远远不止如此,上述举例只是为了带给我们CNN应用一些直观的认知.

4. 什么是CNN?

CNN 将图像作为Tensor作为输入和处理,计算机看图像和人类看图像是截然不同的,计算机看图像只会看到一些像素值,如下所示:

这里假设我们有一张JPG格式的彩色图像作为输入,其大小为480X480.我们使用矩阵表示该图,其大小为480X480X3(通道数为3,表示彩色图). 每一个元素取值为0-255 代表像素值大小. 虽然这些数字对人类做图像识别任务来说没有意义,但是这种形式是计算机的输入格式.

如上图所示为一个分类任务的神经网络结构图,我们将该CNN拆分为两部分:特征学习和分类.

• 特征学习阶段: 这里包括CONV,RELU,Pooling层.通常来说:边缘,直线,曲线等特征在这一阶段通过学习得到
• 分类阶段:这里包括FC层. 通常会预测图像中某个物体属于某个类别的置信度.

4.1 特征学习阶段

4.1.1 卷积层

1) 输入图像:

正如上文所述,每张图都可以视为像素值所构成的矩阵. 我们考虑5X5的二值图像,像素值取值为0或1, 则其矩阵表示如下:

2) Filter:

输入图像乘以Filter后的操作称为卷积.不同参数的Filter代表不同的特征比如边缘,直线等.下图为常见的一些filter:

当然,filter不仅数值可以变化用以提取不同特征,其大小尺寸也可以变化,如下所示:

举例来说,这里我们选用一个3X3的filter来对上述5X5的二值图像进行卷积操作,用来提取图像的某种特征,此时选用filter如下所示:

3) 卷积操作:

卷积操作就是将图像中每个像素值和filter中对应的像素值做乘法操作,操作后的结果常常被称为卷积特征,特征图等.如下所示:

卷积操作后特征图的大小取决于以下3个参数:

• Depth: 输入图像的通道数.上述例子中,Depth=1对应的为灰度图作为输入,但是对于彩色图Depth=3,表示RGB三个通道.
• Stride: Stride是我们移动filter的步长.当Stride=1,表示每次移动filter一个像素;当stride=2 表示我们每次跳过2个像素移动一次filter.显而易见,Strlide取值越大,我们最终得到的特征图尺寸越小.
• Padding: 表示我们需要在图像边缘补充多少像素.大多数情形,该值为1,表示上下补充1行,左右补充1列,如下所示:

4) 总结:

我们对卷积层相关操作,总结如下:

• 图像输入尺寸: W1XH1XD1
• 定义卷积层4个超参数:
  - filter的数目K
  - filter的尺寸F
  - stride步长S
  - padding数目P
• 此时卷积层的输出W2XH2XD2如下:
  - W2= (W1-F+2P)/S + 1
  - H2 = (H1-F+2P)/S + 1
  - D2 = K

4.1.2 激活函数

卷积层后面常常跟RELU层,该层主要目的在于引入非线性计算单元,RELU函数如下:

ReLU 是一种单个像素操作，并将特征图中的所有负值替换为零。 ReLU 的目的是在我们的 ConvNet 中引入非线性，因为我们希望训练的 ConvNet 学习的大多数现实世界数据都是非线性的（卷积是一种线性运算——元素矩阵乘法和加法，所以我们通过引入非线性函数（如 ReLU）来解释非线性。

上述左侧为应用RELU操作前效果图,右侧为应用RELU操作后效果图.

4.1.3 池化层

池化层操作主要用于卷积层或特征图的维数减少，保留相对重要信息。有时这种空间池化也称为下采样。池化层可以分为最大池化、平均池化、和池化。通常情况下，最大池化层使用最多。

我们对池化层相关操作,总结如下:

• 输入尺寸: W1XH1XD1
• 定义池化层2个超参数:
  - kernel_size的尺寸F
  - stride步长S
• 此时池化层的输出W2XH2XD2如下:
  - W2= (W1-F)/S + 1
  - H2 = (H1-F)/S + 1
  - D2 = D1

4.2 分类阶段

这里我们主要使用了全连接层,全连接层是传统的多层感知器，在输出层使用了 softmax 激活函数。“全连接”意味着前一层的每个神经元都连接到下一层的每个神经元。

卷积层和池化层的输出代表输入图像的高级特征。全连接层的目的是使用这些特征根据训练数据集将输入图像分类为各种类别。

全连接层的输出概率之和为 1,主要通过在全连接层的输出层使用 Softmax 作为激活函数来确保的。 Softmax 函数采用任意实值作为输入,并将其压缩为介于 0 和 1 之间且总和为 1的值 。

在上图中，对全连接层使用 softmax 给出了汽车、卡车和自行车等类别的概率值。

5 参考

参考链接