陈怡然最新访谈：通用、可解释的 AI 计算硬件设计将是 EDA 的下一项革命性技
2022-05-29 10:58:12
陈怡然，杜克大学电子与预备机工程系教导，美邦邦度科学基金委（NSF）下一代搬动汇集与边沿预备斟酌院（Athena）主任，NSF 新型与可赓续预备（ASIC）校企配合斟酌核心（IUCRC）主任，杜克大学预备进化智能斟酌核心（DCEI）说合主任。
陈怡然是清华大学电子系 1994 级本科生，2001 年得回清华大学硕士学位，2005 年得回普渡大学博士学位。他的斟酌有趣征求新的回想和存储编制、呆板练习、神经形状预备和搬动预备编制。他曾宣布 500 众篇论文，出书 1 部专著，并正在各样集会上得回几次最佳论文奖。他得回的信誉征求 IEEE 预备机学会 Edward J. McCluskey 本事收效奖、ACM SIGDA 任事奖等，并因其对非易失性内存本事的功绩而被提名为 ACM Fellow。他依然美邦预备机学会安排自愿化万分有趣小组（SIGDA）主席。
指日，陈怡然教导承受了 ACM 的采访，分享了他看待预备新架构、AI 预备能效、NSF AI 边沿预备核心、电子安排自愿化和 ACM 安排自愿化分会、以及来日本事趋向的主睹。
陈怡然：我以为，正在过去的 15-20 年里，回想和存储编制界限发作的最令人兴奋的事务，是预备和存储之间的鸿沟变得含混。
新颖预备范式的新近革命始于治理大数据的需求，这激发了对大容量存储修造的日益增进的需求。预备单位和存储修造之间的有限带宽所带来的瓶颈很疾就展示了（平常被称为「冯 · 诺伊曼瓶颈」）。使内存和存储编制更「智能」曾经成为缓解编制对内存带宽的依赖和加疾数据治理的风行办理计划，好比近内存预备和内存预备。
这是一个很好的例子，申明了倾向操纵轨范的转换（即从科学预备到以数据为核心的预备）何如变化了预备机架构的安排理念。这种理念的变化引发了各样新的预备产物，如智能固态硬盘 ( SSD ) 、动态随机探访内存 ( DRAM ) 和数据治理单位 ( DPU ) ，以及很众新兴的内存本事，如 3D Xpoint 内存 ( Intel 和 Micron ) 。
它也导致了少许新的非冯 · 诺伊曼架构的展示，好比基于交叉杆的点积引擎，它通过直接将预备照射到预备硬件的拓扑机闭来推行向量矩阵乘法。
ACM：您迩来被援用最众的一篇论文是Learning Structured Sparsity in Deep Neural Networks，它叙述了抬高深度神经汇集功效的苛重性。为什么抬高深度神经汇集的功效很苛重？正在这一界限有哪些有前景的斟酌对象 ?
陈怡然：家喻户晓，新颖深度神经汇集（DNNs）的高（推理）精度伴跟着较高的预备本钱，这是神经汇集的深度和宽度的加添所导致的。然而，咱们也真切，神经汇集的衔接权值对神经汇集的精度并没有一律的影响。当衔接权值切近于零时，衔接很不妨就可能被修剪（即权值修树为零），而不会以任何办法对神经汇集的凿凿性发生明显的影响。咱们正在 NeurIPS 2016 上宣布的这篇论文剖明，练习非零权机闭化存储正在内存中的稀少神经汇集可能依旧精良的数据个别性，低落缓存失误率。因而，神经汇集的预备功效大大抬高。所提出的本事，即机闭化稀少练习（平常称为机闭化剪接）及其变体已被通常操纵于新颖高效 DNN 模子安排，并获得很众人工智能 ( AI ) 预备芯片的支撑，如英特尔 Nervana 和 NVIDIA 安培。
抬高 DNN 的功效至闭苛重，由于它正在很大水准上妨碍了大型 DNN 模子的扩展，也妨碍了大型模子正在预备、存储资源和电力预算有限的编制上的摆设，比方 Edge 和物联网修造。该界限的最新斟酌趋向是算法和硬件层面改进的连接，比方，基于新兴纳米修造安排人工智能加快器，用于加快新的或未开采的人工智能模子，如贝叶斯模子、类量子模子、神经符号模子等。
ACM：迩来有音信公布，您将诱导美邦邦度科学基金委的下一代汇集与边沿预备人工智能斟酌院的雅典娜项目（Athena）。Athena 项目历时 5 年，耗资 2000 万美元，征求杜克大学、麻省理工学院、普林斯顿大学、耶鲁大学、密歇根大学、威斯康辛大学和北卡罗来纳农业本事州立大学正在内的几家机构将介入此中。Athena 项主意倾向是什么 ?
陈怡然：咱们对 Athena 项主意创造感觉卓殊兴奋，它是由美邦邦度科学基金委和美邦疆土安统共赞助的边沿预备人工智能旗舰斟酌所。Athena 的倾向是通过供给空前未有的职能和支撑以前不不妨告终的任事，同时通过优秀的人工智能本事操纵庞大性和本钱，从而变化来日搬动汇集编制的安排、运营和任事。
Athena 的斟酌举止分为四个重点界限：边沿预备编制、预备机编制、汇集编制以及任事和操纵。咱们开采的人工智能本事也将为来日搬动汇集的功用、异构性、可扩展性和可托托性供给外面和本事基本。
Athena 动作社区的衔接点，将督促新兴本事的生态编制，作育众样化的具有德行和公允价钱观的新一代本事总统。咱们估计，Athena 的告成将重塑搬动汇集行业的来日，创建新的贸易形式和创业时机，并变化来日的搬动汇集斟酌和工业操纵。
ACM：安排自愿化界限最令人兴奋的趋向是什么？动作美邦预备机学会安排自愿化万分有趣小组（SIGDA）的主席，您以为该结构正在这个界限饰演着什么样的脚色？
陈怡然：正在过去十年中，安排自愿化最令人兴奋的趋向是正在电子安排自愿化（EDA）东西中通常采用呆板练习本事。因为芯片安排质料正在很大水准上取决于芯片安排师的履历，因而开采智能的 EDA 东西是很自然的思绪，它可能直接练习何如从先前已有的安排中延承半导体芯片的安排形式，而无需再履历一遍古板的笨重模子。各样呆板练习模子已嵌入到最新的 EDA 流程中，以加快预备的试验途由和组织、功率揣度、时序理解、参数调动、信号完全性等。呆板练习算法也曾经正在芯片的硬件模块中告终，以监测和预测芯片的运转时功耗。比方咱们的 APOLLO 框架（得回 MICRO 2021 最佳论文奖）。
动作最大的 EDA 专业协会之一，SIGDA 悉力于擢升环球 EDA 专业人士和学生的技巧和常识。SIGDA 每年赞助和结构 30 众个邦际和区域集会，编辑和支撑众种期刊和通信，并主办十几场哺育和本事举止，征求研讨会、教程、汇集研讨会、竞赛、斟酌论坛和大学演示。通过与咱们的行业伙伴配合，SIGDA 还为年青学生、西席和专业人士供给游览津贴，以支撑他们插足集会。咱们也宣告少许奖项给社区中的优越斟酌职员和梦念者。
陈怡然：我确信，一个通用的和可解说的 AI 预备硬件安排流程，将是 EDA 和预备编制斟酌的下一个革命性本事。
正在过去的十年中，人们提出各样硬件安排来加快人工智能模子的预备。然而，安排者老是正在安排的通用性和功效之间挣扎，由于为了适当不休转化的模子的特别机闭，需求举行很众硬件定制。另一方面，可解说性无间是确保 AI 模子的鲁棒性和增加模子安排的一个持久挑衅。
来日的 AI 预备硬件安排不妨由各样可解说的硬件模块构成，这些模块对应它们各自的算法。AI 预备硬件的职能由一个通用的安排流程来确保。一种不妨的办理计划是利用神经符号化形式构修一个可组合的 AI 模子，并告终与符号化算法模块相对应的硬件模块。然后，可能利用扩展的 AutoML 流自愿化倾向 AI 预备硬件的安排，从而正在确保通用性和可解说性的情景下告终所需的职能。