浅谈深度学习(四):深度学习的前世今生

深度学习的诞生

计算机神经网络的发展经历跌宕起伏,在大部分时间都是处于低潮期,长期被学术界瞧不起,以致于任何研究项目只要提到”神经网络”,基本都会被简单粗暴的直接拒绝,很难获得研究经费。

而Hinton和他的同事们仍然在苦苦坚守。

此时的Hinton也熬白了头发,2003年,Hinton还在多伦多大学,当着他的穷教授。也就是在这一年,Hinton及其团队在一次向CIFAR(Canadian Institute for Advanced Research)的基金负责人申请资金支持时,该负责人问他为什么要支持他们的研究项目。

他们只好回答说:“如果CIFAR要跳出舒适区,寻找一个高风险项目,那就是我们了!”

最终CIFAR却同意了资助他们十年,从2004年到2014年,总共一千万加元。

就像中国人相信改名能改运一样,Hinton可能觉得“神经网络”这个名字实在是太不吉利了,当然也可能是缘于之前几十年“神经网络”的口碑太差,摇身一变,变成了“深度学习(Deep Learning)”了。

而Geoffrey Hinton,也享有“深度学习”之父的美誉。

自此,深度学习正式诞生。

深度学习经历大起大落,终于在计算资源由量变积累到质变的时刻,迎来了它的再一次热潮。

当然,深度学习能够发展到今天,计算资源的野蛮增长,发挥了很大的作用,但Hinton及其所有坚守在计算机神经网络研究领域的人,也通过各种办法,不断的调整算法,使得算法也得到了非常大的进步,解决了之前碰到了的很多问题。

ImageNet大赛崭露头角

ImageNet 是一个计算机视觉系统识别项目名称, 是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家,模拟人类的识别系统建立的。

也许大家还记得“浅谈深度学习(二):深度学习的前世今生”里面提到的Vladimir Vapnik的支持向量机(SVM),虽然深度学习在Hinton的带领下终于迎来春天,但大家并不觉得以计算机神经网络为核心的深度学习就很强,而就在2010年ImageNet竞赛,以SVM技术为核心的NEC和伊利诺伊大学香槟分校联合团队,仍然以28%的误识率斩获第一。

2011年是以Fisher Vector的计算方法夺冠,将错误率降低到了25.7%。

2012年,以Hinton为首的团队(带领他的两个研究生),以他们最新的深度学习算法,应用到ImageNet问题上,将误识率降低了15.3%,一举拿下冠军,而排名第二的误识率高达26.2%。

所有其他团队,都是以类似SVM的向量机技术为基础,这是神经网络二十年来,第一次在图像识别领域,大幅度领先,学术界为此沸腾。

(未完待续)

发表评论

邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据