深度学习与神经网络

社会新闻 浏览(1292)

a57a2d1ab170458999045b1973bdc0f3

由CDA数据分析研究所制作,转载授权

深度学习是机器学习的一个子领域。研究算法的灵感来自大脑的结构和功能,称为人工神经网络。

如果您刚刚开始进入深度学习领域,或者您已经有过神经网络的经验,您可能会感到困惑。因为我知道我在开始时有很多困惑,而且我的很多同事和朋友。因为他们在20世纪90年代和21世纪初学习和使用神经网络。

该领域的领导者和专家对深度学习观点有自己的观点,这些具体而微妙的观点为深度学习提供了大量证据。

在本文中,您将通过倾听该领域的一系列专家和领导者的意见,了解深度学习是什么以及它是什么。

让我们看看。

深度学习是一个庞大的神经网络

Coursera的Andrew Ng和百度研究的首席科学家正式创立了Google Brain,最终导致了Google服务中许多深度学习技术的产品化。

他已经说了很多关于深度学习的内容并写了很多,这是一个好的开始。

在深度学习的早期讨论中,安德鲁描述了传统人工神经网络背景下的深度学习。在2013年题为“深度学习,自学和无监督特征学习”的演讲中,他将深度学习的概念描述为:

这是我在脑中模拟的深度学习的希望:

- 使学习算法更好,更容易使用。

- 机器学习和人工智能的革命性进步。

我相信这是我们迈向真正的人工智能的最佳机会

后来他的评论变得更加细致入微了。

安德鲁认为,深度学习的核心是我们现在拥有足够快的计算机和足够的数据来实际训练大型神经网络。在2015年的ExtractConf会议上,当他的主题“科学家们应该理解深度学习的数据”讨论为什么它现在正在深入学习起飞时,他评论道:

我们现在拥有的非常大的神经网络.以及我们可以访问的大量数据

他还评论了一个重要的观点,即一切都与规模有关。随着我们构建更大的神经网络并使用越来越多的数据对其进行训练,它们的性能将不断提?摺U馔ǔ2煌谑迪忠恢滦阅芩降钠渌餮凹际酢?

对于大多数旧的学习算法.性能将达到稳定水平。深度学习.是第一种算法.它可以扩展。当你给他们更多数据时,它的表现会继续提高

他在幻灯片上提供了一个漂亮的卡通片:

8a964561d59d4ee1b13d6b7b8e99981d

最后,他明确指出,我们在实践中看到的深度学习的好处来自于有监督的学习。从2015年的ExtractConf演讲中,他评论道:

通过有监督的学习或从标记数据中学习,几乎所有今天的深度学习都得到了重视

2014年早些时候,他在斯坦福大学收到题为“深度学习”的演讲时也发表了类似的评论。

深度学习疯狂发展的一个原因是它非常善于监督学习

安德鲁经常提到我们应该并且会看到来自DL的无监督方面的更多好处,因为该领域足够成熟以处理大量未标记的数据。

Jeff Dean是Google系统和基础架构团队的指南,也是Google的一名高级研究员,他可能负责扩展和采用Google的一些内部深度学习。 Jeff参与了Google Brain项目以及开发大型深度学习软件DistBelief和后来的TensorFlow。

在2016年题为“深度学习构建智能计算机系统”的演讲中,他以类似的方式评论,深度学习实际上是关于大型神经网络。

当你听到深度学习这个词的时候,想想一个巨大的深层神经网络。深度是指典型的层数,因此这个流行术语用于印刷机。我认为它们通常是深度神经网络。

他已多次发表此演示文稿,并在同一演示文稿的一组修改过的幻灯片中强调了神经网络的可扩展性,表明随着更多数据和更大模型,结果将发生变化。更好,但这反过来需要更多的计算来训练模型。

2cece15454a2499a832c24b723bc38b5

深度学习是一种分层特征学习

除了可扩展性之外,深度学习模型的另一个经常被引用的好处是它们能够从原始数据执行自动特征提取,也称为特征学习。

Yoshua Bengio是深度学习的另一个领导者,尽管他已经开始对大型神经网络可以实现的自动特征学习产生浓厚的兴趣。

他描述了使用特征学习来发现和学习良好表征的算法能力方面的深度学习。在2012年题为“深度学习无监督和转移学习表征?钡穆畚闹校缆鬯担?

深度学习算法尝试利用输入分布中的未知结构,通常可以在多个级别找到良好的表示,并使用较低级别的功能来定义更高级别的学习功能

在他2009年的技术报告“人工智能学习的深层结构”中,他提供了沿着这些方向进行深入学习的详细视角,其中他强调了层次结构在特征学习中的重要性。

深度学习方法旨在学习由较低级别特征的组合形成的具有较高层次结构的特征的特征层次结构。多级抽象的自动学习允许系统直接从数据映射输入到输出的复杂功能,而不必完全依赖于人工创建的功能。

在Ian Goodfellow和Aaron Courville即将出版的一本名为“深度学习”的书中,他们根据模型的建筑深度定义了深度学习。

概念的层次结构允许计算机通过使用简单概念构建复杂概念来学习。如果我们绘制一个图表来说明这些概念是如何一起构建的,那么图表就很深,并且有很多层。出于这个原因,我们称这种方法为人工智能深度学习。

这是一本重要的书,可能在一段时间内成为该领域的权威资源。本书继续描述多层感知器作为深度学习领域中使用的算法,给出了深度学习已经包含在人工神经网络中的想法。

深度学习模型的典型示例是前馈深度网络或多层感知器(MLP)。

Google研究中心主任彼得诺维格(Peter Norvig)因其人工智能教科书“人工智能:一种现代方法”而闻名。

在2016年的一次演讲中,他发表了题为“深度学习和可理解性以及软件工程和验证”的演讲。他以与Yoshua非常相似的方式定义了深度学习,侧重于使用更深层次的网络结构。允许抽象力量。

这是一种学习,你形成的表示有多个抽象层次,而不是直接输入到输出

为什么称它为“深度学习”?而不是仅仅称它为“人工神经网络”?

Geoffrey Hinton是人工神经网络领域的先驱,并共同发表了关于训练多层感知器网络的反向传播算法的第一篇论文。

他可能已经开始引入短语“深度”来描述大型人工神经网络的发展。

2006年,他与人合着了一篇题为“深度信仰网络的快速学习算法”的论文,该论文描述了训练有素的玻尔兹曼机器(如多层网络)的“深度”。方法。

使用先验互补,我们推导出一种快速,贪婪的算法,只要前两层形成一个无向联想记忆,就可以一次一层地学习深层次的信念网络。

本文和Geoff在Undirected Depth Network上共同撰写的题为“Deep Boltzmann Machine”的相关论文得到了社区的好评(被引用了数百次),因为它们是贪婪分层网络培训的成功。允许前馈网络中有更多层的示例。

在题为“用神经网络减少数据维度”的期刊《科学》的共同撰写的文章中,他们坚持使用相同的“深度”描述来描述他们开发网络的方法,即这些网络的层比率。在过去,典型的网络更多。

我们描述了一种初始化权重的有效方法,它允许深度自动编码器网络学习低维代码作为减少数据维度的工具。这种低维代码比主成分分析更有效。

在同一篇文章中,他们发表了一篇有趣的评论,这与安德鲁吴(Andrew Ng)关于计算能力的最新改进和对尚未开发用于大规模使用的大型数据集的访问的评论相吻合。能力。

自20世纪80年代以来,很明显深度自动编码器的反向传播对于非线性降维是非常有效的,只要计算机足够快,数据集足够大,并且初始权重足够接近良好的解决方案。现在满足所有这三个条件。

2016年,在与英国皇家学会的一次题为“深度学习”的对话中,Geoff评论说,深度信仰网络深度学习始于2006年,这一新的深度学习浪潮的第一次成功应用是2009年的声音。标识为“使用深度信念网络的声学建模”,实现了最先进的技术成果。

结果,语音识别和神经网络社区已经注意到使用“深层”作为先前神经网络技术的区分器可能导致名称改变。

皇家学会谈话中的深度学习描述集中在反向传播上。有趣的是,他提出了为什么反向传播(发音为“深度学习”)在20世纪90年代没有成功的四个原因。前两点与Andrew Ng的评论一致,因为数据集太小而计算机太慢。

219708ce40a548a89dfd3496df401117

深度学习作为跨域可扩展学习

深度学习优于模拟的问题域的输入(甚至输出)。这意味着它们不是少量的表格格式,而是像素数据的图像,文本数据的文档或音频数据的文件。

Yann LeCun是Facebook Research的主管和网络架构之父。他擅长图像数据中的对象识别,称为卷积神经网络(CNN)。这种技术似乎非常成功,因为像多层感知器前馈神经网络一样,该技术可以根据数据和模型大小进行扩展,并且可以通过反向传播进行训练。

这使他偏离了深度学习的定义。他将深度学习定义为大型中心神经网络的发展,大型中心神经网络在摄影对象识别方面取得了巨大成功。

在劳伦斯利弗莫尔国家实验室2016年题为“加速理解:深度学习,智能应用和GPU”的讲座中,他将深度学习描述为学习水平表示,并将其定义为建筑物体识别系统。可扩展的方法:

深度学习[是] .所有可训练的模块管道。因为在识别对象的过程中有多个阶段,所有这些阶段都是培训的一部分“

f141464b2b17462c8bc2b6aa260e78cd

Jurgen Schmidhuber是另一种流行算法的父亲,其中MLP和CNN也可以根据模型大小和数据集大小进行扩展,并且可以通过反向传播进行训练,但是针对学习序列数据进行了定制,称为长期和短期术语记忆。网络(LSTM)是一种递归神经网络。

我们确实看到该领域的措辞存在一些混淆,即“深度学习”。在2014年题为“神经网络中的深度学习:概述”的论文中,他评论了该领域的命名问题以及深度和浅层学习之间的差异。他还有趣地描述了问题的复杂性,而不是用于解决问题的模型来描述深度。

什么时候浅学习结束,深度?与DL专家的讨论尚未对这个问题提供确凿的答案。 [.],让我来定义本概述的目的:深度> 10个问题需要非常深入的学习。

Demis Hassabis是DeepMind的创始人,后来被谷歌收购。 DeepMind突破了深度学习技巧与强化学习相结合的着名例子,以应对复杂的学习问题,如玩游戏,玩Atari游戏和Go with Alpha Go游戏。

为了与命名保持一致,他们将新技术称为深度Q网络,将深度学习与Q-Learning相结合。他们还将更广泛的研究领域命名为“深度强化学习”。

在2015年自然杂志题为“通过深度强化学习进行人体控制”的文章中,他们评论了深度神经网络在突破中的重要作用,并强调了对分层抽象的需求。

为了实现这一目标,我们开发了一种新型代理,一种深度Q网络(DQN),它将强化学习与一类称为深度神经网络的人工神经网络相结合。值得注意的是,深度神经网络的最新进展使得人工神经网络能够直接从原始传感器数据学习诸如对象类之类的概念,使用若干层节点逐渐建立数据的抽象表示。

最后,Yann LeCun,Yoshua Bengio和Geoffrey Hinton发表了一篇关于自然的论文,称为“深度学习”。其中,他们定义了明确的深度学习,强调多层次的学习方法。

深度学习允许由多个处理层组成的计算模型来学习具有多个抽象级别的数据表示。

然后,根据表示学习和抽象来描述多层方法。

深度学习方法是具有多个表示级别的表示学习方法,通过组合简单但非线性的模块获得,每个模块表示在一个级别转换为更高,稍微更抽象的级别的表示(从原始输入开始) 。 [.]深度学习的一个关键方面是这些功能层不是由人类工程师设计的:他们使用通用学习程序从数据中学习。

这是一个很好的一般描述,可以很容易地描述大多数人工神经网络算法。这也是一个很好的结局。

结论

在本文中,您会发现深度学习只是一个非常大的神经网络,需要更多数据并需要更大的计算机。

虽然Hinton和合作者发布的早期方法侧重于贪婪的分层训练和无监督方法,例如自动编码器。但是,现代最先进的深度学习侧重于使用反向传播算法训练深层(多层)神经网络模型。最流行的技术是:

多层感知器网络。卷积神经网络。长记忆和短记忆回忆神经网络。

我希望本文已经明确了深度学习是什么以及如何将这些主要定义整合在一起。

如果您对深度学习有自己的看法,那么您可以发表意见,以便我们进行沟通和沟通。

ff69a71a8a6540abb93129ca53d810e4

如果您遇到下列情况之一:

1.想要了解有关大数据分析,数据挖掘,数据科学和人工智能的更多信息;

2,专业遇到瓶颈,希望提高自己在数据分析或人工智能领域的硬件技能;

3.寻求新的方式和新的发展,并打算转向数据分析行业或人工智能领域。

点击下面的[了解更多],获取更多精彩内容和专业帮助!