不懂GPU深度学习,何以谈人工智能?

  • 时间:
  • 浏览:0
  • 来源:uu快3计划师_uu快3app苹果_全天计划

随着层厚网络层数的增加,训练集动辄以T为单位计算,现在层厚学习的训练如果 离不开GPU了,而GPU的计算能力也在不断的提升,以满足层厚学习训练的计算需求。

觉得层厚学习身后的神经网络基础理论早在上世纪400年代就已提出,经过几起几落的发展,到了21世纪初,多层神经网络算法也日趋成熟图片 图片 期期期 。层厚学习理论早在十多年如果 也有重要突破,为甚会 会 直到近年才出现爆发?

2012年,Geoffrey E. Hinton(与Yann LeCun 和Yoshua Bengio并称为层厚学习三驾马车)的弟子Alex Krizhevsky在ILSVRC-2012的图像分类比赛中使用2块Nvidia GTX 5400 GPU训练的多层神经网络(如果 被称为AlexNet)以15.3%的top-5测试错误率摘得冠军,而使用传统妙招的第二名的成绩是26.2%,整整提高了10多个百分点。这也成为了层厚学习发展史上的里程碑事件,从此层厚神经网络一炮走红,此后ILSVRC的优胜者总是被层厚神经网络霸占。

还上能 说层厚学习爆发有另一个主要原困, 另一个是像ImageNet如果 的大规模数据集的出现,而如果 重要原困只是计算能力的提高,而这主要得益于GPU用于层厚学习的加速,尤其是层厚学习训练的加速

一年半如果 ,AlphaGo完胜李世乭的围棋赛让层厚学习(Deep Learning)这名 名词家喻户晓,再度掀起了人工智能的新一波热潮。

Alex当时使用的数据集富含17万张高清图片,受限于单块GTX 5400 GPU 3GB的内存,另一个人 使用了2块GPU来训练另一个人 富含40000万参数和67万神经节点的网络,当时花了5~6天的时间。还上能 想象,这么 GPU的加速,要完成这么 大规模的数据集的多层神经网络训练合适多长的时间。

这不得不提到2012年的一场竞赛...