datasheet

半导体厂纷发展的AI推理芯片大有可为

2019-06-11来源: ctimes关键字:AI  推理芯片

近年来科技热潮一波接一波,2013年、2014年开始倡议物联网、穿戴式电子,2016年开始人工智能,2018年末则为5G。人工智能过往在1950年代、1980年代?#32676;?#28909;议过,但因多项技术限制与过度期许而回复平淡,2016年随云端资料日多与影音辨识需求再次走红(图1)。


image.png

图1人工智能的第三波热潮


人工智能的运用分成两个阶段,一是学习训?#26041;?#27573;,二是推理阶段,此与应用程序相类似,程序开发阶段即为学习训?#26041;?#27573;,程序正式上线执?#24615;?#20316;则为推理阶段。开发即是船舰在船坞内打造或维修,执行则为船舰出海航行作业执勤(图2)。


image.png

图2人工智能训练与推理的差别


训练与推理阶段对运算的要求有所不同,训?#26041;?#27573;需要大量?#22791;?#30340;运算,且为了让人工智能模型获得更佳的?#38382;?#35843;整数据,运算的精准?#25913;?#24230;较高,而推理阶段则相反,模型已经训练完成,不再需要庞大运算量,且为了尽快获得推理结果,?#24066;硪越系?#30340;精度运算。


例如一个猫?#28526;?#35782;应用,训?#26041;?#27573;要先提供成千上万张各?#25191;?#26377;猫脸的照片来训练,并从中抓出各种?#25913;?#36776;识特点,但真正设置在前端负责辨识来者是否为猫的推理运算,只是辨识单张?#24120;?#36816;算量小,且可能已简化特征,只要简单快速运算即可得到结果(是猫或不是)。


推理专用芯片需求显现


对于人工智能的训练、推理运算,近年来已普遍使用CPU之外的芯片来加速,例如GPGPU、FPGA、ASIC等,特别是GPGPU为多,原因在于GPGPU的高阶软体生态较为完备、可支援多种人工智能框架(Framework),相对的FPGA需要熟悉低?#23376;?#20307;电路者方能开发,而ASIC通常只针对限定的软体或框架最佳化(表1)。虽然FPGA与ASIC较有难度与限制,但仍有科技大厂愿意投入,如Microsoft即主张用FPGA执行人工智能运算,Google则针对TensorFlow人工智能框架开发ASIC,即Cloud TPU芯片。


image.png


人工智能模型的开发(训练)与执行(推理)过往多使用同一芯片,用该芯片执行训练运算后也用该芯片执行推理运算。但近1、2年来随着训练成果逐渐增多,成熟的人工智能模型逐渐普及,以相同芯片负责推理运算的缺点逐渐浮现。以GPGPU而言,芯片内具备大量的平?#24615;?#31639;单元是针对游戏绘图、专业绘图或高效能运算而设计,可运算32、64位元浮点数,这在人工智能模型训?#26041;?#27573;亦适用,但到推理阶段,可能只需16位元浮点、16位元整数、8位元整数等运算即可求出推理结果,甚至是4位元整数便足够。如此过往的高精度大?#31185;叫性?#31639;单元便大材小用,电路与功耗均有所浪费,所以需要人工智能的推理专用处理芯片。


半导体厂纷发展推理芯片


推理芯片的需求在人工智能重新倡议后的2年开始浮现,但在此之前已有若干产品,如2014年Google对外揭露的探戈专案(Project Tango)?#35789;?#29992;Movidius公司的Myriad芯片(图3)。


image.png

图3 Intel Movidius Myriad X芯片


Movidius之后于2016年推出Myriad 2芯片,同样也在2016年,Intel购并Movidius取得Myriad 1/2系列芯片,并?#26377;?#25512;出Myriad X芯片。Google除探戈专案外其他硬体也采用Intel/Movidius芯片,如2017年的Google Clips人工智能摄影机、2018年Google AIY Vision人工智能视觉应用开发套件等。


不过真正受业界瞩目的仍在2018年,包含NVIDIA推出T4芯片(?#32454;?#32780;论是已带芯片的加速介面卡)(图4)、Google推出Edge TPU芯片(图5),以及Amazon Web Services在2018年11月宣告将在2019年推出Inferentia芯片,均为推理型芯片。


image.png

图4 NVIDIA展示T4介面卡


image.png

图5 Google Edge TPU小于一美分铜板


另外,脸书(Facebook)也已经意识到各形各色的推理型芯片将会在未来几年内纷纷出笼,为了避免硬体的多元分歧?#35895;?#20307;支援困难,因此提出Glow编译器构想,期望各人工智能芯片商能一致支援该编译标准,目前Intel、Cadence、Marvell、Qualcomm、Esperanto Technologies(人工智能芯片新创业者)均表态支持。


与?#36865;保?#33080;书也坦承开发自有人工智能芯片中,并且将与Intel技术合作;目前脸书技术高层已经表示其芯片与Google TPU不相同,但是无法透露更多相关的技术细节。而Intel除了在2016年购并Movidius之外,在同一年也购并了另一家人工智能技术业者Nervana System,Intel也将以Nervana的技术发展推理芯片。


推理芯片不单大厂受吸引投入新创业者也一样积极,Habana Labs在2018年9月对特定客户提供其推理芯片HL-1000的工程样品,后续将以该芯片为基础产制PCIe介面的推理加速卡,代号Goya。Habana Labs宣称HL-1000是目前业界最快速的推理芯片(图6)。


image.png

图6 Habana Labs除推出HL-1000推理芯片Goya外也推出训练芯片Gaudi


云端机房/快速反应推理芯片可分两种取向


透过前述可了解诸多业者均已投入发展推理芯片,然?#32454;?#32780;论推理芯片可分成两种取向,一是追求更佳的云端机房效率,另一是更快速即时反应。前者是将推理芯片安置于云端机房,以全职专精方式执行推理运算,与训练、推理双用型的芯片相比,更省机?#38752;占洹?#30005;能与成本,如NVIDIA T4。


后者则是将推理芯片设置于现场,例如配置于物联网闸道器、门禁摄影机内、车用电脑上,进行即时的影像物件辨识,如Intel Movidius Myriad系列、Google Edge TPU等。


设置于机房内的推理芯片由于可自电源插座取得源源不绝的电能,因此仍有数十瓦用电,如NVIDIA T4的TDP(Thermal Design Power)达70瓦,相对的现场设置的推理芯片必须适应各种环境可能,例如仅以电池供电运作,因此尽可能节约电能,如Google Edge TPU的TDP仅1.8瓦。现场型目前观察仅有车用例外,由于汽车有蓄电瓶可用,电能充沛性居于电池与电源插座间,因此芯片功耗表现可高些。


为能快速反应推理芯片精度须调整


如前所述,推理芯片为能即时快速求解,通常会采?#31995;?#31934;度进?#24615;?#31639;,过去过于高效能运算的64位元双精度浮点数(Double Precision, DP),或用于游戏与专业绘图的32位元单精度浮点数(Single Precision, SP)可能都不适用,而是降至(含)16位元以下的精度。


例如Intel Movidius Myriad X原生支援16位元浮点数(新?#21697;?#20026;半精度Half-Precision, HP)与8位元整数;Google Edge TPU则只支援8位元、16位元整数,未支援浮点数;NVIDIA T4则支援16与32位元浮点数外,也支援8位元与4位元整数。


进一步的,推理芯片可能同时使用两种以上的精度运算,例如NVIDIA T4可同时执行16位元浮点数与32位元浮点数的运算,或者尚未推出的AWS Inferentia宣称将可同时执行8位元整数与16位元浮点数的运算(图7),同时使用两种以上精度的作法亦有新词,称为混精度(Mixed Precision, MP)运算。


image.png

图7 AWS预告2019年将推出自家推理芯片Inferentia,将可同时推算整数与幅点数格式。图片来源:AWS


上述不同位元表达长度的整数、浮点数格式,一般写成INT4(Integer)、INT8、FP16、FP32(Float Point)等字样,另也有?#24247;?#21487;针对不带正负表达,单纯正整数表达的格式运算,如Habana Labs的HL-1000?#24247;?#25903;援INT8/16/32之余,也支援UINT8/16/32格式,U即Unsigned之意。


推理芯片虽然支援多种精度格式,然精度愈高运算效能也会?#31995;停?#20197;NVIDIA T4为例,在以INT4格式推算下可以有260 TOPS的效能,亦即每秒有260个Tera(10的12次方)运算,而改以INT8格式时则效能减半,成为130 TOPS,浮点格式也相同,以FP16格式运算的效能为65 TFOPS(F=Float),而以FP32格式运算则降至8.1 TFLOPS,浮点格式的位元数增加一倍效能退至1/8效能,?#26085;?#25968;退减程度高。


推理芯片前景?#28304;?#35266;察芯片商须步步为营


推理芯片是一个新市场,重量级芯片业者与新兴芯片商均积极投入发展,但就数个?#23884;?#32780;言其后续发展难以?#27490;郏?#20027;要是超规模(Hyperscale)云端机房业者自?#22411;?#20837;发展。


例如Google在云端使用自行研发的Cloud TPU芯片,针对Google提出的人工智能框架TensorFlow最佳化,如此便限缩了Intel、NVIDIA的机会市场(虽然2019年1月NVIDIA T4已获Google Cloud采用并开放Beta服务)。而Google也在2018年提出针对人工智能框架TensorFlow Lite最佳化的Edge TPU,如此也可能?#20598;?#36807;往已使用的Intel Movidius芯片。


类似的,脸书过去使用NVIDIA Tesla芯片,但随着脸书力主采行PyTorch技术,以及与Intel合作发展人工智能芯片,未来可能减少购置NVIDIA芯片。而Intel与脸书合作开发,也意味着脸书无意购置Intel独立自主发展的人工智能芯片,即便Intel于此合作中获得收益,也?#28909;?#28982;销售完整芯片来得少,Intel须在技术上有所让步妥协,或提供客?#21697;?#21153;等。


AWS方面也相同,AWS已宣告发展自有推理芯片,此意味着NVIDIA T4的销售机会限缩,其他业者的推理芯片也失去一块大商机。AWS同样有其人工智能技术主张,如MXNet。


如此看来,人工智能芯片的软体技术主导权与芯片大买家,均在超规模机房业者身上,芯片商独立研发、独立供应人工智能芯片的机会将降低,未来迁就超规模机房业者,对其提供技术合作与客制的可能性增高。因此推理芯片会以企业为主要市场,多数企业面对芯片商并无议价能力、技术指导能力,仍会接受芯片商自主研发销售的芯片。


训练/推理两极化


除了推理芯片市场外,人工智能的训练芯片市场也值得观察,由于人工智能应用的开发、训练、?#38382;?#35843;整等工作并非时时在进行,通常在历经一

[1] [2]

关键字:AI  推理芯片

编辑:baixue 引用地址:http://www.hdynjq.com.cn/IoT/ic463992.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本?#38745;?#29992;的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不?#26031;?#24320;自由传播,或不应无偿使用,请及时通过电子?#22987;?#25110;电话通知我们,以迅速采取?#23454;?#25514;施,避免给双方造成不必要的经济损失。

上一篇:MathWorks?#34987;鰽I行业痛点,工具选择至关重要
下一篇:最后一页

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

汽车智能感知技术,到底是各成其就还是一统江湖?

在汽车工具被定义百年之后,工具从计算机、通信、互联网到智能手机再转移到AI,看似失去了往昔荣耀,但借力之后又回归到新能源汽车甚至自动驾驶,以至于“移动智能终端?#20445;?#36208;到一个被重新定义的前夜。而各种节点的变化都在成为催化剂的一分子,最近?#20998;?#31532;二大汽?#23548;?#22242;——菲亚特克莱斯勒汽?#23548;?#22242;宣?#21152;肱分?#26368;古老的汽?#23548;?#22242;、法国国企——雷诺汽?#23548;?#22242;合并。这一不同寻常的举动,不仅将引发整体汽车产业新一轮的兼并重组狂潮,还将表明传统?#21152;?#36710;企如果不对电动化和智能化的趋势加速投资,代价或是在?#20013;?#30340;变革?#26032;?#20026;配角甚至出局。  而汽车智能感知革命可谓变革的前哨,技术路线的选择也不止是命系当下,如同当初光盘规格之争一样,败者或许将被历史快速遗忘
发表于 2019-06-10
汽车智能感知技术,到底是各成其就还是一统江湖?

苹果为了相关人才,将有意?#23637;?#33258;动驾驶初创企业 Drive.ai

这项交易被称为“人才?#23637;骸保?#21363;大型科技公司为了获得更多相关人才而?#23637;?#23567;型初创公?#23613;?#30693;情人士表示,苹果正考虑留下该公司的哪些员工,而这家科技巨头不会使用初创公司的任何知识产权。 6月10日消息,据国外媒体报道,消息人士称苹果公司正准备?#23637;?#33258;动驾驶初创企业Drive.ai。知情人士表示,这宗小交易将为苹果带来更多拥有自动驾驶汽?#23548;?#26415;经验的工程师。 目前还不清楚苹果为这?#24335;灰字?#20184;了多少?#24335;稹?#25454;Pitchbook的数据,自2015年成立以来,Drive.ai已经筹集了约7700万美元的?#24335;穑?017年其估值约为2亿美元。 这项交易被称为“人才?#23637;骸保?#21363;大型科技公司为了获得更多相关人才而?#23637;?#23567;型初创公?#23613;?#30693;情人
发表于 2019-06-10

CES Asia 2019剧透:车载系?#22330;?#26234;能驾驶舱成最大亮点?

历年的CES展会都会云集当前最优秀的传统消费类电子厂商和IT核心厂商,他们带来最先进的技术理念和产品,吸引着众多高新技术设备的爱好者、使用者和业界观众。自2015年起,CES Asia(亚洲消费电子展)在中国上海已成功举办四届,而每一届展会,5G、自动驾驶、AI等技术无疑成为了最受瞩目的焦点。那么,随着5G、自动驾驶、AI等技术的场景落地,在今年的CES Asia上,又有哪些汽车创新技术值得关注呢?(CESAsia部分参展企业)美国消费技术协会宣布,2019亚洲消费电子展汽?#23548;?#26415;展区面积将比上一届扩大一倍,将拥有两个独立展区和一个室外场地,用于展示提升驾乘安全性和人车互联体验的各种先进技术。这也传递出一个信号,显然新车不是关键
发表于 2019-06-10
CES Asia 2019剧透:车载系?#22330;?#26234;能驾驶舱成最大亮点?

“AI加持”—OPPO消息发送方法

的奇?#27982;?#24819;之外,还需要作为大背景的技术革新浪潮的支持。?#28909;?#24555;充技术就?#35272;?#20110;相应的电源管理芯片技术的成熟。目前,人工智能即AI是毋庸置疑的技术热点之一,而且已经在终端产品上实现了应用。许多厂商都推出了搭载AI摄影、AI人脸识别等技术的设备。这些新的功能极大地丰富了我们的使用体验。功能如此强大的AI技术可以应用的场景?#27604;?#19981;限于此,除了图像处理,AI还可以用来优化系统处理任务的过程,使得某些原有功能更加便捷、好用。原本需要好几步操作的过程经AI功能模块介入,进行联想、预测等逻辑性处理之后可能只需要一两步就可以完成。小编就了解到了OPPO的一项中国发明专利技术(CN107205089A),采用了AI模块来介入消息发送过程,能够大大简化原有
发表于 2019-06-06
“AI加持”—OPPO消息发送方法

MathWorks?#34987;鰽I行业痛点,工具选择至关重要

人工智能是一项革命性的技术,基于麦肯锡最新的人工智能预测,到2030年AI将产生13万亿美元的价值,而且人工智能在提高生产率方面具?#33455;?#22823;潜力。然而人工智能却还在苦苦挣扎,很多原因导致了人工智能的失败!例如数据繁多、没有数据科学家、团队力不及、无法与其他系统交互、问题不适合人工智能、低投?#39542;?#25253;率、不完整的工具等。人工智能不仅是算法的智能,它需要在特定的环?#25345;性?#20316;,需要应用专业知识跨越整个设计流程。为了解决AI行业的这些失败难题,在5月21日召开的MATLAB EXPO 2019大会上,MathWorks首席战?#20801;im Tung就AI的痛点和难点以及解决方案与媒体朋友们做了深入的?#25945;帧athWorks首席战?#20801;im Tung使用
发表于 2019-06-06
MathWorks?#34987;鰽I行业痛点,工具选择至关重要

爱驰汽车将携八大AI黑科技亮相CES

6月11日,2019年亚洲消费电子展(CES Asia)将在上海新国际博览中心盛大开启,一场来势汹涌的智能风暴将全面刷新我?#23884;?#31185;技时代的?#29616;?#20026;揭开未来智慧出行的真容,爱驰汽车将携旗下首款移动智能养成伙伴——U5、全新概念车U7 ion亮相CES Asia,并将发?#25216;疍MS驾驶员监测、乘员情绪识别、?#30340;?#29983;物体监测、多模式智能交互、助手语音自定义、助?#20013;?#35937;自定义、AR故事创作、AR用车?#25913;习?#22823;AI黑科技于一身的“AIAT智能陪伴科技”以及全新数字伙伴APP,开启新时代的人车交互革命。做有温度的智能陪伴,首席人工智能官诠释AI的故事5G赋能的智能网联技术,让汽车彻?#35013;?#33073;了工具的定位,与用户建立起心智联结,开启了人类智慧出行
发表于 2019-06-05
爱驰汽车将携八大AI黑科技亮相CES

小广播

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]?#20540;?58号函 京公海网安备110108001534 Copyright ? 2005-2019 EEWORLD.com.cn, Inc. All rights reserved
pk10如何将100玩到一万