浅谈深度学习(二):深度学习的前世今生

Geoffrey Hinton
六十年代计算机神经网络的低潮期,有一个高中生Geoffrey Hinton,对人脑的工作原理特别着迷。当时有一个同学告诉他,人脑的工作原理就像全息图一样。创建一个3D全息图,需要大量的记录入射光被物体多次反射的结果,然后将这些信息存储进一个庞大的数据库中。大脑储存信息的方式居然与全息图如此类似,大脑并非将记忆储存在一个特定的地方,而是在整个神经网络里传播。Hinton为此深深的着迷。

简单的说,大脑对于事物和概念的记忆,不是存储在某个单一的地点,而是像全息照片一样,分布式地,存在于一个巨大的神经元的网络里。

对Hinton来说,这是他人生的关键,也是他成功的起点。

大学毕业后,Hinton选择继续在爱丁堡大学读研,并确定把人工智能(神经网络)作为自己的研究方向。

而这个选择,遭到了周围朋友的质疑,在计算机神经网络的低潮期,以此为课题,是需要极大的热情和勇气的。

神经网络当时被诟病的一个问题就是巨大的计算量,早期的计算机神经网络采用的算法纠错量,耗费的计算量,和神经元(节点)的平方成正比,这使得神经元无法增加到更多,限制了神经网络的发展。

而Hiton和David Rumelhart通过合作,把纠错的运算量,降低到了只和神经元的数目成正比。

而后Yann Lecun,在1989年又提出了“反向传播算法在手写邮政编码上的应用”,并用美国邮政系统提供的上万个手写数字样本训练这个神经网络系统,最终错误率只有5%。

基于此他提出了卷积神经网络,并开发出了商业软件,在支票识别领域占据了美国20%的市场份额。

计算机神经网络开始慢慢复苏。

然而有一个人又把计算机神经网络带入了第二个寒冬。

Vladimir Vapnik的支持向量机(SVM)

Vladimir Vapnik出生于苏联。1958年,他在撒马尔罕(现属乌兹别克斯坦)的乌兹别克国立大学完成了硕士学业。1964年,他于莫斯科的控制科学学院获得博士学位。毕业后,他一直在该校工作直到1990年,在此期间,他成为了该校计算机科学与研究系的系主任。

1995年,他被伦敦大学聘为计算机与统计科学专业的教授。1991至2001年间,他工作于AT&T贝尔实验室(后来的香农实验室),并和他的同事们一起发明了支持向量机理论。他们为机器学习的许多方法奠定了理论基础。

那么为何他能通过SVM算法带到一个更高的高度,而把计算机神经网络给比下去了?

计算机神经网络非常精巧,最擅长的是局部最优解,却在寻求平衡点时,表现不佳,但在寻求最佳平衡点时,SVM却表现抢眼。

打个比方,要判断这是不是一棵树,通过对计算机神经网络进行训练后,计算机神经网络甚至连这棵树有多少片叶子也学习来作为判断这是否是一棵树的标准,但每棵树的树叶肯定不一样,这就导致了,它太精准了,反而无法分辨。

但如果将训练的标准定的太简单,比如将绿色作为判定依据,那么只要看到绿色的东西,就会被识别为树。

而SVM,恰好解决了这个平衡。

(未完待续)

“浅谈深度学习(二):深度学习的前世今生”的一个回复

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据