人工智能芯片技术白皮书 2018White Paper on AI Chip TechnologiesWhite Paper on AI Chip Technologies010102030304050506060607080910111213151517181920202122目录北京未来芯片技术高精尖创新中心1 前言1.1 背景与意义1.2 内容与目的2 AI芯片的关键特征 2.1 技术总述2.2 新型计算范式2.3 训练和推断2.4 大数据处理能力2.5 数据精度2.6 可重构能力 2.7 软件工具 3 AI 芯片发展现状3.1 云端 AI 计算3.2 边缘 AI 计算3.3 云和端的配合4 AI芯片的技术挑战4.1 冯·诺伊曼瓶颈 4.2 CMOS工艺和器件瓶颈5 AI芯片架构设计趋势5.1 云端训练和推断：大存储、高性能、可伸缩5.2 边缘设备：把效率推向极致5.3 软件定义芯片6 AI芯片中的存储技术6.1 AI 友好型存储器6.2 片外存储器6.3 片上（嵌入型）存储器6.4 新兴的存储器7 新兴计算技术7.1 近内存计算7.2 存内计算（In-memory Computing）7.3 基于新型存储器的人工神经网络7.4 生物神经网络7.5 对电路设计的影响8 神经形态芯片8.1 神经形态芯片的算法模型8.2 神经形态芯片的特性8.2.1 可缩放、高并行的神经网络互联8.2.2 众核结构8.2.3 事件驱动8.2.4 数据流计算8.3 机遇与挑战9 AI芯片基准测试和发展路线图10 展望未来参考文献索引232324242526272829293031313233353740编写委员会主席尤 政 中国工程院院士 清华大学魏少军 IEEE Fellow 清华大学编写委员会副主席吴华强 清华大学邓 宁 清华大学编写委员会成员 （按姓氏笔划排序）尹首一 清华大学王 玲 清华大学朱 晶 北京半导体行业协会 刘勇攀 清华大学杨建华 马萨诸塞大学杨美基 IEEE Fellow 香港应用科技研究院 吴臻志 清华大学 汪 玉 清华大学张孟凡 IEEE Fellow 台湾新竹清华大学陈 安 半导体研究联盟 陈怡然 IEEE Fellow 杜克大学郑光廷 IEEE Fellow 香港科技大学胡晓波 IEEE Fellow 圣母大学唐 杉 新思科技黄汉森 IEEE Fellow 斯坦福大学凡德·斯皮格尔 IEEE Fellow 宾夕法尼亚大学 谢 源 IEEE Fellow 加利福尼亚大学圣巴巴拉分校人工智能芯片技术白皮书（2018）北京未来芯片技术高精尖创新中心成立于 2015 年 10 月，是北京市教委首批认定的“北京高等学校高精尖创新中心”之一。中心充分发挥清华大学的学科、科研和人才优势，联合校内多个院系资源，组建了微电子、光电子及柔性集成、微系统、类脑计算、基础前沿、综合应用六个分中心以及微纳技术支撑平台。中心主任由清华大学副校长尤政院士担任。中心以服务国家创新驱动发展战略和北京市全国科技创新中心建设为出发点，致力于打造国家高层次人才梯队、全球开放型微纳技术支撑平台，聚焦具有颠覆性创新的关键器件、芯片及微系统技术，推动未来芯片产业实现跨越式发展。中心介绍北京未来芯片技术高精尖创新中心 1前言11.1 背景与意义人工智能 (Artificial Intelligence，英文缩写为 AI)，是研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门科学技术。人工智能的本质是对人类思维过程的模拟。从 1956 年正式提出“人工智能”概念算起，在半个多世纪的发展历程中，人们一直在这一领域进行长期的科学探索和技术攻坚，试图了解智能的实质。和任何曾经处于发展过程中的新兴学科一样，人工智能早期发展并非一帆风顺，它曾受到多方质疑，不断经历起伏。近些年，大数据的积聚、理论算法的革新、计算能力的提升及网络设施的演进，使得持续积累了半个多世纪的人工智能产业又一次迎来革命性的进步，人工智能的研究和应用进入全新的发展阶段。当前，人工智能正逐渐发展为新一代通用技术，加快与经济社会各领域渗透融合，已在医疗、金融、安防、教育、交通、物流等多个领域实现新业态、新模式和新产品的突破式应用，带动生产流程、产品、信息消费和服务业的智能化、高附加值转型发展。人工智能已处于新科技革命和产业变革的核心前沿，成为推动经济社会发展的新引擎。实际上，人工智能产业得以快速发展，无论是算法的实现、海量数据的获取和存储还是计算能力的体现都离不开目前唯一的物理基础芯片。可以说，“无芯片不 AI”，能否开发出具有超高运算能力、符合市场需求的芯片，已成为人工智能领域可持续发展的重要因素。 北京未来芯片技术高精尖创新中心2尽管全球人工智能产业还处于初期发展阶段，但随着政府和产业界的积极推动， 人工智能技术在大规模产业化应用方面突飞猛进，在算法和芯片等人工智能基础技术层面积累了强大的技术创新，这些成果未必能即时商业化，但对未来科技的影响深远。为了更好地厘清当前AI芯片领域的发展态势，进一步明确 AI 芯片在新技术形势下的路线框架、关键环节及应用前景，北京未来芯片技术高精尖创新中心根据学术界和工业界的最新实践，邀请国内外AI芯片领域的顶尖研究力量，共同开展人工智能芯片技术白皮书的编制工作。_P|è¦çl b¦« ;=? ²_ % 5L B_! ; ñ­ßÄ!Ruµtl b 1 7 yñ<_Þ¥_ ;h!yO 7O­¯ú_¼Ä!Fì_¶H_÷ù &âÊ &Û¸ & 2ó©OI“*图表 1-1 AI 产业结构和技术栈1.2 内容与目的本文主要包括九方面内容 ：第 1 章为发展 AI 芯片产业的战略意义以及白皮书基本内容概述。第 2 章综述了 AI 芯片的技术背景，从多个维度提出了满足不同场景条件下 AI 芯片和硬件平台的关键特征。第 3 章介绍近几年的 AI 芯片在云侧、边缘和终端设备等不同场景中的发展状况，总结了云侧和边缘设备需要解决的不同问题，以及云侧和边缘设备如何协作支撑 AI 应用。第 4 章在 CMOS 工艺特征尺寸逐渐逼近极限的大背景下，结合 AI 芯片面临的架构挑战，分析 AI 芯片的技术趋势。第 5 章讨论了建立在当前 CMOS 技术集成上的云端和终端 AI 芯片架构创新。第 6 章主要介绍对 AI 芯片至关重要的存储技术，包括传统存储技术的改进和基于新兴非易失存储（NVM）的存储器解决方案。第 7 章重点讨论在工艺、器件、电路和存储器方面的前沿研究工作，和以此为基础的存内计算、生物神经网络等新技术趋势。第 8 章介绍神经形态计算技术和芯片的算法、模型以及关键技术特征，并分析该技术面临的机遇和挑战。第 9 章主要讨论 AI 芯片的基准测试和技术路线图的相关问题。第 10 章展望 AI 芯片的未来。在人工智能热潮面前，本文一方面希望与全球学术和工业界分享 AI 芯片领域的创新成果；另一方面希望通过对 AI 芯片的技术认知和需求的深入洞察，帮助相关人士更加清晰地了解 AI 芯片所处的产业地位、发展机遇与需求现状，通过对 AI 芯片产业现状及各种技术路线的梳理，增进对未来风险的预判。目前人工智能技术整体发展仍处于初级阶段，未来还有很多技术和商业层面的挑战。我们要去除在产业发展过程中一窝蜂“逐热而上”的虚火，在充满信心、怀抱希望的同时，保持冷静和客观，推动 AI 芯片产业可持续发展。1. 前言北京未来芯片技术高精尖创新中心 32AI芯片的关键特征2.1技术总述目前，关于 AI 芯片的定义并没有一个严格和公认的标准。比较宽泛的看法是，面向人工智能应用的芯片都可以称为AI 芯片。时下，一些基于传统计算架构的芯片和各种软硬件加速方案相结合，在一些AI应用场景下取得了巨大成功。但由于需求的多样性，很难有任何单一的设计和方法能够很好地适用于各类情况。因此，学界和业界涌现出多种专门针对人工智能应用的新颖设计和方法，覆盖了从半导体材料、器件、电路到体系结构的各个层次。本文探讨的AI 芯片主要包括三类，一是经过软硬件优化可以高效支持AI应用的通用芯片，例如GPU ；二是侧重加速机器学习（尤其是神经网络、深度学习）算法的芯片，这也是目前 AI 芯片中最多的形式 ；三是受生物脑启发设计的神经形态计算芯片。AI技术是多层面的，贯穿了应用、算法机理、芯片、工具链、器件、工艺和材料等技术层级。各个层级环环紧扣形成AI 的技术链，如图表2-1 所示。AI芯片本身处于整个链条的中部，向上为应用和算法提供高效支持，向下对器件和电路、工艺和材料提出需求。一方面，应用和算法的快速发展，尤其是深度学习、卷积神经网络对 AI 芯片提出了 2-3 个数量级的性能优化需求，引发了近年来 AI 片研发的热潮。另一方面，北京未来芯片技术高精尖创新中心4视频图像类：人脸识别、目标检测、图像生成、视频分析、视频审核、图像美化、以图搜图、AR声音语音类：语音识别、语音合成、语音唤醒、声纹识别、乐曲生成、智能音箱、智能导航文本类：文本分析、语言翻译、人机对话、阅读理解、推荐系统控制类：自动驾驶、无人机、机器人、工业自动化神经网络互联结构：多层感知机（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆（LSTM）网络、脉冲神经网络（SNN）深度神经网络系统结构： AlexNet、ResNet、VGGNet、GoogLeNet神经网络算法：反向传播算法、迁移学习、强化学习、One-shot learning、对抗学习、神经图灵机、脉冲时间依赖可塑（STDP）机器学习算法 ：支持向量机（SVM）、K 近邻、贝叶斯、决策树、马尔可夫链、Adaboost、WordEmbedding算法优化芯片： 效能优化，低功耗优化，高速优化，灵活度优化，如深度学习加速器，人脸识别芯片神经形态芯片：仿生类脑，生物脑启发，脑机制模拟可编程芯片：考量灵活度，可编程性，算法兼容性，通用软件兼容，如 DSP、GPU、FPGA芯片系统级结构：多核、众核、SIMD、运算阵列结构、存储器结构、片上网络结构、多片互联结构、内存接口、通信结构、多级缓存开发工具链 ：编程框架（Tensorflow，caffe）衔接、编译器、仿真器、优化器（量化、裁剪）、原子操作（网络）库高带宽片外存储器：HBM、DRAM、高速 GDDR、LPDDR、STT-MRAM高速互联：SerDes，光互联通信仿生器件（人工突触，人工神经元） ：忆阻器新型计算器件：模拟计算，内存计算（in-memory computing）片上存储器（突触阵列） ：分布式 SRAM、ReRAM、PCRAM 等CMOS工艺：工艺节点（16, 7, 5 nm）CMOS多层集成：2.5D IC/SiP、3D-stack 技术、monolithic 3D 等新型工艺：3D NAND, Flash Tunneling FETs、FeFET、FinFET应用算法芯片器件工艺应用需求驱动 理论创新驱动新型材料、工艺和器件的迅速发展，例如3D 堆叠内存，工艺演进等也为AI 芯片提供了显著提升性能和降低功耗的可行性，这个推动力来源于基础研究的突破。总体而言，这两类动力共同促进了AI 芯片技术近年来的快速发展。2.2新型计算范式AI 计算既不脱离传统计算，也具有新的计算特质，包括 ：1. 处理的内容往往是非结构化数据，例如视频、图像及语音等，这类数据很难通过预编程的方法得到满意的结果。因此，需要通过样本训练、拟合及环境交互等方式，利用大量数据来训练模型，再用训练好的模型处理数据。2. 处理的过程通常需要很大的计算量，基本的计算主要是线性代数运算，典型的如张量处理，而控制流程则相对简单。对于这类运算，大规模并行计算硬件较传统通用处理器更为适合。3. 处理的过程参数量大，需要巨大的存储容量，高带宽、低延时的访存能力，以及计算单元和存储器件间丰富且灵活的连接。数据本地化特征较强，适合数据复用和近内存计算。图表 2-1 AI 芯片相关技术概览2. AI芯片的关键特征