大惊小怪,Google公布TPU论文怎么了?

都说Google是全球人工智能技术领头羊,今天放出来的TPU论文就是一个最好的证明。


作者|李赓

编辑|陈光

网址|www.xtecher.com

微信公众号ID|Xtecher


早在去年5月中旬的Google I/O大会上,Google就已经透露了自己的Tensor Processing Unit(Tensor处理单元)处理器,简称TPU。但相关细节,Google却迟迟没有公布,直到这次TPU论文的发布。


TPU的最新细节





首先需要指出,TPU是一个人工智能技术专用处理器,在种类上归属于ASIC(Application Specific Integrated Circuit,为专门目的而设计的集成电路)。


相比人工智能技术常见的另外几种处理器CPU(中央处理器)、GPU(图像处理器)、FPGA(阵列可编程逻辑门阵列),ASIC天生就是为了应用场景而生,所以在性能表现和工作效率上都更加突出。以下是Google硬件工程师 Norm Jouppi 在Google云计算博客上透露的部分性能信息:


1、在神经网络层面的操作上,处理速度比当下GPU和CPU快15到30倍;

2、在能效比方面,比GPU和CPU高30到80倍;

3、在代码上也更加简单,100到1500行代码即可以驱动神经网络;


这要归功于ASIC本身的特点:处理器的计算部分专门为目标数据设计,100%利用;不需要考虑兼容多种情况,控制配套结构非常简单,间接提升了能效比;可以在硬件层面对软件层面提前进行优化,优化到位的情况下可以极大减少API接口的工作量。





Google也专门对比了在人工智能场景下TPU相对于CPU/GPU的能效比表现,不同颜色分别对应不同对比对象的结果(注:TPU'是改进版TPU)。可以看到GPU相对于CPU的领先倍数最多只有2.9,而TPU'对CPU的领先幅度已经达到了196倍,对GPU的领先幅度也达到了68倍。能效比上的突出表现也能直接进行转化,为用户带来更低的使用成本。




Google另外还对比了单芯片的平台单位功耗,可以看到TPU在计算任务逐渐加重情况下,功耗浮动不过10%左右。而单CPU服务器的功耗波动接近300%,绝对功耗数字的更高也让服务器需要配备更多散热资源,无形中也增加成本。




Google这次也公布了TPU的真实长相,通过板载的DDR3颗粒、PCIE接口可以看出实际尺寸并不算很大。PCB布局看上去也并不复杂,TPU在中间,上下是DDR3颗粒阵列,左侧是供电部分,右侧是剩余配套零件。


值得注意的是,Google还在论文中增加了一段描述:“这块电路板也可以安装在服务器预留的SATA盘位中,但是目前这款卡使用的是 PCIe Gen3 X16接口”。这一方面透露出了TPU的数据吞吐能力,同时也让人遐想,Google是否会尝试将其打造成更加通用化的硬件产品,比如适配SATA接口之后对外出售。


业内人士告诉你怎么看TPU

 

TPU一出,数倍于CPU、GPU的性能技惊四座。但也有业内人士向Xtecher说出了自己的看法:这个芯片没有什么太神奇的地方,虽然性能很惊艳,但是成本也会很高,而且目前TPU并不能单独使用,还是要配套CPU/GPU。



华登国际合伙人王林也在朋友圈贴出了自己的看法(Xtecher已经获得了许可):


1、芯片本身设计难度并不大,以floor plan看,data buffe加上乘加器阵列占了2/3面积,再去掉比较大的两个DDR3的PHY,一个PCIE Gen3 x16接口,控制电路只有2%。

2、为了降低功耗,提高性能,目前这款TPU的几个设计指导原则是:增加数据带宽,减少和host CPU的交互,不让乘加器阵列闲着。所以用了24MB的片上Memory,多DDR3接口用于数据交换,4阶CISC指令流水线保证MatrixMultiply优先级。带来的代价就是大的die size,主频不高。

3、考虑现有生态环境,TPU软件要和CPU/GPU兼容。

4、稀疏化应是TPU以后的开发重点,论文来头就提到压缩到8位整数用于inference已经足够好了。

5、这么贵的芯片,我也就是看看......


Xtecher也专门采访了国内创业公司纵目科技CEO唐悦:


这个东西实际跟视频解码一个道理,人工智能你能够拿CPU来做也可以拿GPU来做,当它算法相对固定之后,你就可以专门去打造专用硬件。实际上各种各样的东西都能够实现一个目标,问题在于灵活度和专业性两个方向如何把握。如果当前算法没有固定,那就应该多用CPU和GPU,如果算法固定了,那么就可以尝试打造专用芯片。而事实上,人工智能恰巧处于这两个方向的变化当中。


因为之前神经网络一直在变,完全可编程的GPU更加适合用来探索,CPU以为并行能力比较弱还是定位在通用处理器。但随着人工智能技术的推进,我们就能够根据目前人工智能的需求来专门打造芯片,它比本身为图像运算打造的GPU更加专注,自然效果更好。


这跟很多人现在用FPGA去运算也是一样的,因为专用的硬件比通用的硬件性能一定更好。反过来说,究竟这个负责人工智能的处理器叫什么完全没有所谓。同样的,这件事Google可以做,高通也在做,这并不是什么特别的神奇的东西。


Google自己怎么说?

 


去年年中,谷歌全球数据中心网络主管乌尔斯·霍勒泽(Urs H lzle)就曾在公开场合对TPU的一系列问题进行了公开解答:


Google今后还将研发更多这样的芯片。


Google不会把这种芯片出售给其他公司,不会直接与英特尔或NVIDIA进行竞争。但Google拥有庞大的数据中心,是这两家公司迄今为止最大的潜在客户。与此同时,随着越来越多的企业使用谷歌提供的云计算服务,它们自己购买服务器(和芯片)的数量就会越来越少,也就给芯片市场带来进一步的冲击。


TPU目前(当时)主要用来处理Android手机语音识别所需要的“一部分计算”。GPU已经在一点点出局。GPU太通用了,对于机器学习针对性不强。机器学习本来就不是GPU的设计初衷 。


之所以不采用更加方便的方式——直接在FPGA基础上固化算法,是因为ASIC快得多。


TPU背后的人工智能趋势?




既然TPU只不过是一颗带有人工智能“光环”的ASIC,那么它究竟反映出了什么趋势?


首先是专注人工智能领域硬件的市场巨大,虽然CPU/GPU已经提供了通用运算能力,但是性能更好,能效比更高的FPGA、ASIC需求日趋强烈。


二个是随着人工智能技术的进一步发展,硬件专业化趋势不可避免。就像比特币挖矿一样,主力挖矿设备从CPU到GPU,从GPU到FPGA,最后再到ASIC。


除了Google,很多公司其实也在进行着类似的专业化硬件开发工作,相信不久的将来,一大批专业化硬件的出现将会为人工智能的发展再次注入动力,促进更多应用场景和更优质服务的出现。


总的来看,TPU的确算是人工智能发展历程中的一个“小里程碑”,但真的没有什么好大惊小怪的。



我是高级记者Xtecher李赓,如果您有国内外科技行业新鲜资讯或独到见解,欢迎与我联系。

微信:gdfslg

邮箱:geng.li@xtecher.com

(添加好友请注明公司、职位、事由)

━━━━━

封面来源:网络  排版:陈光  校对:伍小仙

━━━━━


Xtecher官网平台现开通认证作者,

有发稿意向的个人或媒体,可联系微信:jueshao121

(添加好友请注明公司、职位、事由)


点击 | 关键词 | 查看对应内容

Xtecher 精品文章


 人 物 

人工智能

快乐智慧 雷鸣 | 出门问问 李志飞

达闼科技 黄晓庆(上\) | Rokid 黄伽卫

驭势科技 吴甘沙 | 格灵深瞳 赵勇 

地平线 方懿 | 彩云天气 袁行远

车和家 李想51猎头 刘维

Face Think 杨松帆|中科视拓 山世光

深鉴科技 汪玉|越疆科技 刘培超

Kneron Inc 刘峻诚|MINIEYE 刘国清

地平线 黄畅|三角兽 亓超

极限元 马骥|NXROBO 林天麟

灵喵 韩龙|云脑科技 张本宇

创来科技 陈茂|轻客智能 庞琳勇


虚拟现实

诺亦腾 戴若犁 | 大朋VR 陈朝阳

Ximmerse 贺杰 | Pico 周宏伟
焰火工坊 娄池 | HTCVR 汪丛青 

七鑫易维 彭凡|影创科技 孙立

所思科技 罗子雄|凌宇智控 张道宁

Dexmo 谷逍驰


大数据

中网数据 孙远根 | 昆仑数据 陆薇

永洪科技 何春涛 | 华农天时 温晗秋子

GrowingIO 张溪梦 | ThinkingData 吕承通
神策数据 桑文锋 | 海云数据 冯一村

佳格数据 张弓 | 普林科技 王储

Datatist 宋碧莲 | 职品汇 龚才春

星环科技 孙元浩 | 人才易 葛昊


航空航天

零壹空间 舒畅 |天仪研究院 杨峰


大健康

人本健康 陈恂 |Haplox 许明炎

奇云诺德 罗奇斌|基准医疗 范建兵


Fintech

数库科技 刘彦|Ping++ 金亦冶

abc Fintech 杨永智|奇点机智 宋嘉伟

芥末金融 彭晨蓝海智投 刘震

海鲸金融 丁华昆|资易通 盛洁俪


其他科技创业者
科幻作家 郝景芳 |Vinci 宋斯纯

禾赛科技 李一帆诸葛io 孔淼

奥图科技 叶晨光瀚诺半导体 张诚

51猎头 刘维|腾展科技 魏松祥

墨刀 张元一 |Phresh Amit

品类 唐十三|布比 蒋海

Plug and Play Saeed Amidim

集智俱乐部 张江|NVIDIA 黄仁勋


 特 写 


人工智能

禾赛科技,加入无人车大战

如果太太说“今晚请使用机器人吧”

奇点汽车强势启动智能驾驶布局

透视Rokid:两度斩获CES大奖背后

语音助手“小不点”可行吗?

人工智能:付不起的工资,抢不到的人巨头之争,无人驾驶尖峰对决

唇亡齿寒,人工智能一场艰难“拔河”

2016中国最具投资价值人工智能项目Top 100 

直播鉴黄:堵塞出口还是守护高贵

国内智能驾驶Top20

无人驾驶若干问题

渡鸦科技被百度收购的过程


创业群像

“买买买”狂潮下物流巨链的前生今世

类定律:1年成为1亿美元公司的背后

华强北困局:离席的人,守望的人

区块链创业者们:黎明之前的那一刻

不开源的区块链都是“耍流氓”

华人对冲基金鼎新资本

一下科技通往纳斯达克之路


航空航天

“潇湘一号”科学实验卫星升空

融资逾亿,零壹空间与它的火箭长征


Fintech

智能投顾:理性更多,还是赌性更硅谷投资人:真正的AI还得再等等

toC or toB谁的终结,谁的胜利


虚拟现实

Magic Leap:给科技创业公司耐心


如果你拥有高精尖科技创业项目,Xtecher将为你提供:

1.专业的科技人物特稿和视频拍摄

2.在Xtecher官网、APP、微信的全方位展示

3.最专业的科技圈投资人、政府资源、产业资源

4.创业企业品牌管家与PR服务

即刻扫码,联系我们。

微信号:Xtecher

关注未来的人

都关注了Xtecher


   栏目推荐   



 
 
 

Xtecher联合喜马拉雅,推出科技音频脱口秀《甲小姐说》。在本专辑中,甲小姐将不断给你们讲讲科技创业圈里面,有趣、有料、有干货的内容,满足你的小好奇。 

甲小姐说愚人节专题:《谎言与进步,人类可能不撒谎吗?

▼  ▼  ▼