0717-7821348
业务指南

业务指南

您现在的位置: 首页 > 业务指南
500万彩票网站电脑版pc-关于深度学习神经网络:你需求知道这些
2019-05-24 22:29:16

前语

本文触及以下内容:

  • 神经网络的开展前史
  • 什么是真实的神经网络?
  • 单元/神经元
  • 权重/参数/衔接
  • 偏置项
  • 超参数
  • 激活函数
  • 神经网络学习时发生了什么?
  • 完结细节(怎么办理项目中的一切要素)
  • 关于神经网络的更多信息(更多资源链接)

神经网络的开展前史


咱们简略回忆一下神经网络的开展进程,假如你想了解更多关于其开展进程的信息,请看这篇维基百科的文章(https://en.wikiped500万彩票网站电脑版pc-关于深度学习神经网络:你需求知道这些ia.org/wiki/Artificial_neural_network#History),它是本章节的根底。

神经网络起源于 WarrenMcCulloch 和 Walter Pitts 于 1943 年初次树立的神经网络模型。他们的模型彻底依据数学和算法,由于缺少核算资源,模型无法测验。

后来,在 1958 年,Frank Rosenblatt 创立了第一个能够进行模式辨认的自我鉴定模型,改动了现状。即感知器。可是他只提出了 notation 和模型。实500万彩票网站电脑版pc-关于深度学习神经网络:你需求知道这些践的神经网络模型依然无法测验,此前的相关研讨也较少。

第一批能够测验并具有多个层的神经网络于 1965 年由 Alexey Ivakhnenko 和 Lapa 创立。

之后,由于机器学习模型具有很强可行性,神经网络的研讨阻滞不前。很多人认为这是由于 Marvin Minsk500万彩票网站电脑版pc-关于深度学习神经网络:你需求知道这些y 和 Seymour Papert 在 1969 年完结的书《感知机》(Perceptrons)导致的。

可是,这个阻滞期相对较短。6 年后,即 1975 年,Paul Werbos 提出反向传达,处理了 XOR 问题,而且使神经网络的学习功率更高。

1992 年,最大池化(max-pooling)被提出,这有助于 3D 方针辨认,由于它具有平移不变性,对变形具有必定鲁棒性。

2009 年至 2012 年间,JrgenSchmidhuber 研讨小组创立的循环神经网络和深度前馈神经网络获得了模式辨认和机器学习范畴 8 项世界比赛的冠军。

2011 年,深度学习神经网络开端将卷积层与最大池化层兼并,然后将其输出传递给几个全衔接层,再传递给输出层。这些被称为卷积神经网络。

在这之后还有更多的研讨。


什么是神经网络?


了解神经网络的一个好办法是将它看作复合函数。你输入一些数据,它会输出一些数据。

3 个部分组成了神经网络的的根本架构:

  • 单元/神经元
  • 衔接/权重/参数
  • 偏置项


你能够把它们看作修建物的「砖块」。依据你期望修建物具有的功用来组织砖块的方位。水泥是权重。不管权重多大,假如没有满足的砖块,修建物仍是会坍毁。可是,你能够让修建以最小的精度运转(运用最少的砖块),然后逐渐构建架构来处理问题。

我将在后边的章节中更多地评论权重、偏置项和单元。

单元/神经元


作为神经网络架构三个部分中最不重要的部分,神经元是包括权重和偏置项的函数,等候数据传递给它们。接纳数据后,它们履行一些核算,然后运用激活函数将数据约束在一个范围内(大都情况下)。

咱们将这些单元幻想成一个包括权重和偏置项的盒子。盒子从两头翻开。一端接纳数据,另一端输出修改后的数据。数据首要进入盒子中,将权重与数据相乘,再向相乘的数据添加偏置项。这是一个单元,也能够被认为是一个函数。该函数与下面这个直线方程相似:



幻想一下有多个直线方程,超越 2 个能够促进神经网络中的非线性。从现在开端,你将为同一个数据点(输入500万彩票网站电脑版pc-关于深度学习神经网络:你需求知道这些)核算多个输出值。这些输出值将被发送到另一个单元,然后神经网络会核算出终究输出值。

权重/参数/衔接


作为神经网络最重要的部分,这些(和偏置项)是用神经网络处理问题时有必要学习的数值。这便是你现在需求知道的。

偏置项


这些数字代表神经网络认为其在将权重与数据相乘之后应该添加的内容。当然,它们常常犯错,但神经网络随后也学习到最佳偏置项。

超参数


超参数有必要手动设置。假如将神经网络看作一台机器,那么改动机器行为的 nob 便是神经网络的超参数。

激活函数


也称为映射函数(mapping function)。它们在 x 轴上输入数据,并在有限的范围内(大部分情况下)输出一个值。大大都情况下,它们被用于将单元的较大输出转换成较小的值。你挑选的激活函数能够大幅进步或下降神经网络的功能。假如你喜爱,你能够为不同的单元挑选不同的激活函数。

以下是一些常见的激活函数:

  • Sigmoid



Sigmoid 函数

  • Tanh



tanh 函数

  • ReLU:批改线性单元



批改线性单元函数

  • Leaky ReLU



Leaky ReLU 函数

这是神经网络在任何问题中都可获得复杂度的原因。添加层(具有单元)可添加神经网络输出的非线性。

每个层都包括必定数量的单元。大大都情况下单元的数量彻底取决于创立者。可是,关于一个简略的使命而言,层数过多会添加不必要的复杂性,且在大大都情况下会下降其准确率。反之亦然。

每个神经网络有两层:输入层和输出层。二者之间的层称为躲藏层。下图所示的神经网络包括一个输入层(8 个单元)、一个输出层(4 个单元)和 3 个躲藏层(每层包括 9 个单元)。


深度神经网络

具有两个或更多躲藏层且每层包括很多单元的神经网络称为深度神经网络,它催生了深度学习这一新的学习范畴。上图所示神经网络便是这样一个比如。

神经网络学习时发生了什么?


除梯度下降外,另一种常见的练习神经网络办法是运用反向传达。运用这种办法,神经网络输出层的差错会经过微积分中的链式规矩向后传达。这关于没有微积分常识的初学者来说可能会难以了解,但也不要被吓倒,反向传达相关内容,引荐阅览:http://neuralnetworksand500万彩票网站电脑版pc-关于深度学习神经网络:你需求知道这些deeplearning.com/chap2.html。

练习神经网络有许多注意事项。但关于初学者来说,没有必要在一篇文章中了解悉数。

完结细节500万彩票网站电脑版pc-关于深度学习神经网络:你需求知道这些(怎么办理项目中的一切要素)


为了解说怎么办理项目中的一切要素,我创立了一个 Jupyter Notebook,包括一个学习 XOR 逻辑门的小型神经网络

在检查并了解 Notebook 内容后,你应该对怎么构建根底神经网络有一个大致的了解。

Notebook 创立的神经网络的练习数据以矩阵摆放,这是常见的数据摆放方法。不同项目中的矩阵维度可能会有所不同。

很多数据一般分为两类:练习数据(60%)和测验数据(40%)。神经网络先运用练习数据,然后在测验数据上测验网络的准确率。

额~,这篇文章仅仅大约点出一些东西,假如需求具体了解深度学习神经网络能够私聊我,最近有点忙假如看到我会回复的。