| |
人工智能越来越聪明,但它"体能"能跟上"脑力"吗? |
|
2018年7月9日
【
转载
】 编辑:
|
|
本文标签:人工智能,深度神经网络,内存 |
原 题目:人工智能越来越聪慧,但它的“体能”能跟上“脑力”吗?
随着深度神经网络的 连续改良和成长,面对日益增进的计算需要,相应的硬件创新也 刻不容缓 。
深度学习是人工智能(AI)最近进展的前沿阵地 。它 波及到灵感 起源于生物神经网络的一系列机器学习算法,可用于在巨量数据中寻觅某些模式 。通过这些深度神经网络,诸如语音和视觉 鉴别等领域得到了大幅进展;以它们为 根底的计算机程序在一些特定 使命中 展示了 超过人类的 威力 。
相变存储器的二维阵列 。
起源:IBM探究院这丝毫在AlphaGo身上得到了 酣畅淋漓的 展示 。这个由伦敦DeepMind团队开发的程序,2016年3月在一场5回合的 比赛中击败了围棋世界冠军李世乭,比分为4比1 。现在,AlphaGo唯一的对手只剩下 本身的改良版 。2017年10月,DeepMind团队公布了一款 晋级版本——AlphaGo Zero——它 利用了强化学习,而且只通过自己和自己对弈进行训练 。而AlphaGo的 威力则 构建在对人类专业棋手数百万步走法的非监督式学习 。 后果,AlphaGo Zero以100回合全胜的战绩战胜了击败过李世乭的AlphaGo 。
深度神经网络 波及多层由数字化的‘神经突触’衔接的‘神经元’ 。利用大量数据以及 指标 使命的正确答案进行训练后,神经元中间衔接的强度或者说权重得到不停调整,直到最上层网络给出正确的 后果 。 实现训练的网络配以训练中得到的衔接权重再被 利用到崭新数据中——这一步被称为判断 。
深度神经网络最近的 顺利既得益于算法和网络架构的 普及,也得益于猎取巨量数据变得日趋方便,以及高性能计算机 连续进展 。目前,具备一流运算精度的深度神经网络的运算量相当大 。史弋宇及其 共事在《自然-电子学》上发表了一篇Perspective文章(https://go.nature.com/2lWHPww),他们在文中指出,这代表了深度神经网络面临的新 挑战,特殊是当它们被 利用于空间和电池容量有限的手机以及诸如智能传感器、穿戴 设施等嵌入式产品时 。
图1:前沿深度神经网络的迭代 。深度神经网络的参数量出现指数式增进 。Y轴为对数坐标 。来自美国圣母大学、加州大学洛杉矶分校和中国华中科技大学的探究团队 考查了深度神经网络的精度和规模方面的数据,以及不同硬件平台的运算性能 。他们指出,深度神经网络 利用于 设施端判断(在嵌入式平台端执行的判断)的迭代速度和CMOS技术的迭代速度存在差距——而且这个差距在增大 。当深度神经网络变得更加准确,它们的尺度(层数、参数量、运算量)卓著 扩充 。
图2:ImageNet图像分类
比赛中明星深度神经网络的前5大误判比率 。前5大误判的比率随
工夫呈指数式
降落 。Y轴为对数坐标 。然而,正如史弋宇及其 共事所述,典型的硬件平台——图形 解决单元(GPU)、现场可编程门阵列(FPGA)以及专用集成电路(ASIC)——其计算性能的 晋升跟不上前沿深度神经网络的设计需要 。 类似的,承载这些网络的硬件平台的存储器功耗也跟不上网络尺度的增进 。
图3:运算量与性能密度中间的差距 。a, 运算量对照ImageNet图像分类
比赛中率先的深度神经网络的前5大误判比率 。b, 率先的GPU、ASIC和FPGA硬件平台性能密度 。为匹配所需运算量,
方便添加芯片面积并不可行 。各年只标示了夺冠的深度神经网络 。Y轴为对数坐标 。史弋宇及其 共事指出,“CMOS技术的迭代关于日益增进的计算强度和功耗方面的需要并没有提供足够的 支撑, 因此需要在架构、电路和器件上加以创新 。”基于此,他们 接续 测验了 联合不同架构和算法创新来 补偿上述差距的可行性 。
图4:内存
拜访量和内存能效中间存在差距 。a, 参数量(与内存
拜访量高度
有关)对照各年ImageNet图像分类
比赛中率先的深度神经网络的前5大误判比率 。b, 主流存储技术的内存能效 。内存能效在有限能量
估算下将
无奈
支撑日益增进的内存
拜访量 。各年只标示了夺冠的深度神经网络 。Y轴为对数坐标 。一种 模式是抛弃传统的,即存储单元和计算单元物理上 拆散的冯·诺依曼计算架构, 比方纳米级电阻式存储器(忆阻器件) 可以即用于计算又用于存储 。但器件的应变 威力 依旧是个问题, 制约了运算所需精度 。
在本期《自然-电子学》的另一篇文章中(https://go.nature.com/2IZ9VAq),来自苏黎世IBM探究院和苏黎世联邦理工学院的Manuel Le Gallo及其 共事表明,综合利用电阻式存储器的内存内运算以及传统数字运算,兴许能解决这个问题 。这里的内存内运算单元,具体来说是一组相变存储器的二维阵列,它们承载重要的计算 使命,而传统计算单元则迭代 晋升解算精度 。
Le Gallo及其 共事通过解算线性方程组, 展示了上述被他们称为“混合精度内存内运算” 方案的性能 。这种 方案之前也被用于训练深度神经网络 。
为AI 利用开发专用器件和芯片的进展前景也已引起芯片初创公司的兴趣 。今年早些时候,据《纽约时报》报导,目前至少有45家初创公司在开发此类芯片,而风险投资者上一年在芯片初创公司中的投资超过15亿美元, 几乎是两年前投资数额的两倍 。
这种技术的 后劲不可小觑,学术界和产业界的探究人员正在响应机器学习和AI对硬件提出的 挑战——以及随之而来的 机会 。

