添翼思维  | 对人工智能的几点思考

上世纪90年代在匹兹堡大学数学系攻博的同时，在信息科学系选修硕士学位。选修了认知科学这门课，第一次接触联结主义人工智能以及反向传播算法。授课教授让我自己推导一下这个算法作为final project。之后， 我就把人工智能给忘了。

2016年李世石和AlphaGo的人机巅峰之战让我重新审视人工智能。最近为研发CAPP工艺设计软件，更是狂读了许多神经网络模型的论文，尤其是那些seminal papers。

目前在世界范围内，人工智能处于高潮，各种热点层出不穷，在很多领域AI已成为非常有用且高效的基础技术。作为喜欢独立思考的的数学人士和科技创业者，我对新鲜事物心怀好奇，并保持清醒的头脑。

以数学家的角度视之，联结主义人工智能的各种神经网络模型并无什么神秘之处，其本质无非是非线性数据拟合而已。用逼近论的术语，不外乎利用离散的样本函数值构建多变量多值逼近函数。从理论上讲，数据量越大，神经网络层越多，逼近精确度会越高，也就是智能水平会越高。但这种智能是有局限性的：

（1）由于训练的数据来源于过去，人工智能只能从过去的知识里学习，通过知识组合来产生“新知识”，但这些“新知识”不过是旧知识的表达。对有线性代数基础知识的人而言，可以类比线性代数里的线性表达：旧知识是知识基，“新知识”是这些基的组合表达而已，没有产生新知识维度。产生新知识维度就像发明新的思想概念，属于思想创新；

（2）知识是有限的，不是无穷的。从逼近论角度而言，这种智能所能表达的知识对真实世界的逼近程度是有限的。精确度有限就产生模糊，从逼近论的角度视之，由于样本数据分布不均匀，甚至有偏差（也就是偏见），就会导致所谓的“幻觉”。这就是为什么联接主义的人工智能不擅长推理的原因之一。

（3）为了能够推理，需要把符号主义和联接主义的人工智能相结合。这种结合也是有缺陷的，只能完善推理过程，还不足以产生巅覆性的思想创新。什么是巅覆性的思想创新的数学机制呢？或许需要回归神经动力学，研究其运动轨迹的分岔现象，不过这只是我的猜想而已。

通过阅读大量论文以及跟研究人员讨论，我意识到，许多人工智能研究者缺乏良好的数学素养，导致他们研究工作的局限性：

（1）理论上，他们局限于在基础模型上调参数。由于不具备足够的理论指导，他们很难发明新的有效模型。即便偶而碰运气发明了一个新模型而且还很有效，理论上却难以自圆其说；

（2）技术上，很多人只会将现有模型应用到实际场景中去。遇到问题时，由于理论素养差，不知如何修改模型去适应新场景；

（3）很多人对神经网络模型、梯度下降法和反向传播算法的数学本质并没有深刻理解。神经网络模型的数学本质是非线性数据拟合，也就是一个非线性优化问题。所以需要用梯度下降法这个数值算法来解这个非线性优化问题。但是，梯度下降法需要计算目标函数的雅可比矩阵，由于网络的多层结构，推导和直接计算雅可比矩阵是一项异常艰难的任务。所以才发明了反向传播算法，巧妙地利用了莱不尼兹链式法则的离散化计算，用逐层反向的方式计算偏导数，从而完成梯度下降法的迭代过程。我们也可以设计别的数值算法来求解神经网络模型，目前梯度下降法和反向传播算法相结合最为有效。

最后总结一下我的基本观点和认识：

• 神经网络本质上是数据拟合： 这意味着神经网络擅长学习数据的统计特性，但在理解因果关系、进行抽象推理等方面存在局限。
• 知识的组合与创新：神经网络善于将已有的知识组合成新的模式，但难以产生真正意义上的创新。
• 符号主义与联结主义的结合： 为了实现更全面的智能，将符号推理与神经网络的学习能力相结合是一个重要的研究方向。
• 数学素养的重要性：扎实的数学基础对于理解人工智能模型、设计新的算法至关重要。