在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。

BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。

（1）节点输出模型

隐节点输出模型：Oj=f(∑Wij×Xi-qj) (1)

输出节点输出模型：Yk=f(∑Tjk×Oj-qk) (2)

f-非线形作用函数；q -神经单元阈值。

（2）作用函数模型

作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数： f(x)=1/(1+e乘方（-x）) （3）

（3）误差计算模型

误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：

(4)

tpi- i节点的期望输出值；Opi-i节点计算输出值。

（4）自学习模型

神经网络的学习过程，即连接下层节点和上层节点之间的权重矩阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为

△Wij(n+1)= h ×Фi×Oj+a×△Wij(n) （5）

h -学习因子；Фi-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量因子。

神经网络理论：认知心理学家通过计算机模拟提出的一种知识表征理论，认为知识在人脑中以神经网络形式储存，神经网络由可在不同水平上被激活的结点组成，结点与结点之间有联结，学习是联结的创造及其强度的改变。

私以为，深度学习是基于多层神经网络结构的一种机器学习技术。即便深度学习已经广泛地应用于各个领域，也产生了无人驾驶、步态识别、人脸识别等重要应用，但是其短板也是致命的。比如前不久在美国发生的一起 Tesla 无人驾驶车撞上一台白色货车的严重事故，导致无人驾驶车上的乘客死亡。事后经调查发现事故的原因是当时车载的深度学习模型认为前方的白色货车是公路（因为货车通体白色）所以无人驾驶车没有减速就直接撞了上去。

显然，在开放环境下，深度学习技术还不够成熟。一方面原因是传统深度学习模型没有基于自然科学常识。

文章[1]介绍到日前 Bengio 团队提出了一种新型神经网络，将神经网络的输入变量从传统的二维矩阵拓展为图谱。图谱是一种去除了两条限制的矩阵[2]。笔者认为将深度学习的输入数据类型，从“有信息损耗的一维向量”向“无信息损耗的复杂数据类型”演进，是未来人工智能领域的研究趋势。

笔者也思考过类似的问题，为什么深度学习浪潮兴起于图像领域？我认为是这样的原因：图像的表示方法是矩阵，矩阵与一维向量是“近亲”，神经网络的输入是固定纬度的一维向量，根据“没有免费午餐定理”得出结论——图像数据特别适合于神经网络模型，所以深度学习能在图像领域大展拳脚。

笔者与学强师兄探讨过这样的问题，目前神经网络的模型更适合图像领域，那么对于自然语言处理领域，我们能否改进神经网络的底层输入是一维向量的现状，从而提出更适合自然语言处理的新型神经网络模型？

综上所述，传统的深度学习模型存在如下几个缺陷：