浅谈深度学习(三):深度学习的前世今生

第二个寒冬
计算机神经网络的研究再次进入低潮,计算资源的有限,再一次限制了计算机神经网络的发展,在Hinton和他的同事们苦苦研究计算机神经网络时,当时AI普遍的研究方向恰恰与他们相反,都在试图寻找捷径,直接模拟出行为,而不是试图模拟人脑来实现。

大家可能无法想象,在九十年代,每次对于计算机神经网络算法的调整,重新训练的时间往往是几周,别说应用,就是研究都很难进行下去。

但在这样艰难的环境下,Hinton和Yann LeCun仍然坚持了下来,但学术界对于他们的研究仍然无法提起兴趣。

计算机神经网络在等待着一个质变。

计算蛮力
Intel的CPU资源,一直是以其时钟频率的增长来实现其计算能力的增长,这就类似于一个人,从小到大,一步一步长大,力量也越来越大。Intel这样一种CPU发展的路线,一直稳稳当当的霸占着计算资源的头把交椅。

然后我们的伟大领袖毛主席说过,人多力量大。

Intel的这种平衡被一个台湾人打破了,他叫黄仁勋,台湾人。谁也不知道他是不是真的听了毛主席的话,但他创立的Nvidia(英伟达),却真正是在践行毛主席的格言:人多力量大。

Nvidia(英伟达)刚成立时,是面向个人电脑的游戏市场,主要推销自己的图像处理芯片,并发明了GPU(Graphics Processing Unit)这个名词,Nvidia(英伟达)为大家所熟知的恐怕就是其Geforce系列游戏显卡。

GPU跟CPU不一样,他的运算频率不高,但他是通过增加并行处理能力的方式来处理其对象的,这也跟他所需要处理的对象不同有关,图像处理要处理的是图像,图像要处理的是一个一个很小的像素,处理每个很小的像素,并不需要很强的计算能力,但因为图像处理对于实时性要求很高,因此要求大量的并行处理。

而计算机神经网络所需要处理的计算,正好跟图像处理非常类似,每个神经元所需要的计算资源不多,但因为整个神经网络包含大量的神经元,GPU的出现,简直就是专为计算机神经网络而设计。

此时GPU的人多力量大,并行计算的效率远超CPU。

而此时,无论是CPU还是GPU,在遵循摩尔定律的道路上,野蛮的增长着。

2010年,英伟达的480 GPU,一秒钟计算速度达1.3万亿次浮点运算,而到了2015年的Titan X GPU,已经达到6.1万亿次浮点运算每秒,五年时间,翻了近五倍,而其价格也只有1-2千美元左右,要知道,1996年底,1万亿次浮点运算每秒的人类超级计算机,价值是几百万美元。

计算机神经网络,终于等来春天。

(未完待续)

发表评论

邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据