、于是就现了随机梯度下降(stochasticgradientdescent)算法，是对于梯度下降的一个近似。

训练度网络需要大量的计算力和计算时间；

过拟合(overfitting)问题始终伴随着神经网络的训练过程，学习过慢的问题始终困扰着人们，这容易让人们产生一失控的恐惧，同时也对这项技术在一些重要场合的一步应用制造了障碍。

度神经网络（有多个hiddeyer）比浅层神经网络有更多结构上的优势，它有能力从多个层次上行象。

而训练数据在这个过程发挥了更重要的作用：简单的算法加上复杂的数据，可能远胜于复杂的算法加上简单的数据。

度学习的优显而易见：这是一全新的编程方式，它不需要我们直接为要解决的问题设计算法和编程，而是针对训练过程编程。

regrization(dropout)；

从上个世纪八九十年代开始，研究人员们不断尝试将随机梯度下降算法应用于度神经网络的训练，但却碰到了梯度消失(vanishinggradient)或梯度爆发(explodinggradient)的问题，导致学习过程异常缓慢，度神经网络基本不可用。

然而，从2006年开始，人们开始使用一些新的技术来训练度网络，不断取得了突破。这些技术包括但不限于：

rectifiedlinearunits；

可能到达谷底。这个理解重新推广到多维空间内也基本成立。

利用gpu获得更的计算能力等。

第一，现在的人工智能，它的自我学习还是限定在人们指定的方式，只能学习解决特定的问题，仍然不是通用的智能。

然而这仅仅是对普通的人工智能罢了，但是对起源这样真正的网络智能生命来说，以上两要求它完全都能够到。

那么，现在的人工智能技术的发展，会导致这情况发生吗？这恐怕还不太可能。一般人认为，大概有两个重要因素：

而由于训练样本的数量很大（上万，几十万，甚至更多），直接据前面的c(w，b)行计算，计算量会很大，导致学习过程很慢。

第二，现在对于人工智能的训练过程，需要人们为其输规整化的训练数据，系统的输输仍然对于数据的格式要求很严格，这也意味着，即使把人工智能程序连到网上，它也不能像betacat那样对于互联网上海量的非结构化数据行学习。

采用卷积网络(convolutionaworks)；

度网络往往包大量的参数，这从哲学原则上不符合奥卡姆剃刀原则，通常人们要在调整这些参数上面费大的力；

而betacat的故事，所讲的就是一个人工智能程序，通过自我学习，最终逐渐统治世界的故事。

本章已阅读完毕(请击下一章继续阅读!)

在这个算法中，每次学习不再针对所有的训练集，而是从训练集中随机选择一分来计算c(w，b)，下一次学习再从剩下的训练集中随机选择一分来计算，直到把整个训练集用光。然后再不断重复这一过程。

网络在训练过程中就能自己学习到解决问题的正确方法，这使得我们可以用简单的算法来解决复杂的问题，而且在很多领域胜过了传统方法。