【成果推介】一种抗辐射低延迟神经网络推理加速芯片

【应用行业】互联网

【技术领域】电子信息技术

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】肖乐、张国香、周子杰、代文杰、孙向明、游必辉

【完成人团队简介】团队主要研究大型物理探测器中像素传感器芯片和高速传输芯片

【成果完成时间】2023-12-26

【专利号】CN2023117980025

【授权日期】2024-03-19

【技术成熟度】研发阶段

【应用背景】近年来，人工智能，特别是深度学习正在彻底改变我们解释对撞机产生的庞大数据样本的方式，极大地增加了当前和未来实验的发现潜力，粒子物理学中的传统方法，涉及使用领域专业知识来设计工具，以提取对给定测量最有用的数据特征，当这些人工设计的工具用于提取未能完全捕捉特征的复杂问题时，会丢失信息，这可能阻碍对新物理的搜索，正如在计算机视觉和自然语言处理领域一样，粒子物理领域也越来越努力跳过特征工程步骤，转而使用完整的高维特征空间来训练深度神经网络（DNN），特别是卷积神经网络（CNN），作为一种强大的DNN在多个领域取得了超人的表现，CNN的灵感来自动物视觉皮层，其中单个神经元仅处理来自部分视野的信息，这种“分而治之”的策略简化了神经网络架构，并有助于实现平移和旋转不变性等功能，CNN算法已经是离线分析中粒子识别、喷注标记、堆积抑制、径迹重建、事件和碰撞分类、新物理异常检测等应用的最先进技术，同样的，一些研究开始将神经网络算法从离线分析向在线触发转移，一方面，传统触发和重建算法在高堆积条件下不仅显著放缓，而且性能下降，神经网络可能是执行实时高效重建的唯一希望，另一方面，触发器中更复杂的神经网络算法将允许高能物理实验保留原本不会被选择的罕见事件，同时满足不可逆决策系统的严格鲁棒性要求，通常GPU是处理神经网络的标准工具，因为它们能够同时执行大量浮点运算，也出现了一些以较低的功耗执行推理加速的芯片，如英伟达的NVDLA ，谷歌的TPU，寒武纪的Cambricon 等，它们都采用了单计算引擎架构，这种架构包括一个强大的计算引擎，通常以处理元件（PE）的脉动阵列或矩阵乘法单元的形式，按顺序执行CNN层，网络中的层通过CPU的软件控制分时复用计算引擎来完成推理，这种设计通用性强、灵活性高，但由于类似于处理器的控制机制，牺牲了效率，也有一些基于FPGA的神经网络加速器采用了这种架构，如Angel-Eye 、DNNWeaver 等，另外一些采用了流式架构，如fpgaConvNet 、HADDOC2等，流式架构通常由目标CNN的每一层的不同硬件块组成，其中每个块分别进行优化，然后将所有块都连接起来形成流水线，当数据在架构中流动时，数据通过神经网络的不同部分进行处理，虽然这些加速器有的可以实现非常高的吞吐量，但由于面向的应用不同，没有实现粒子物理所独有的亚微秒推理延迟需求；

为了在高能物理在线触发领域应用低延迟推理，有了在FPGA上采用流式架构部署低延迟CNN的早期尝试，也开发了HLS4ML编译器，以神经网络模型作为输入，然后产生C/C++代码，再通过Vivado HLS高级综合工具，将其转译为xilinx FPGA固件，进一步扩展了HLS4ML，采用流式架构支持CNN的FPGA低延迟部署，然而由于使用了高级综合工具，HLS4ML无法深度优化设计细节来降低推理延迟，转而将包括权重在内的整个神经网络进行片上部署，通过避免和片外存储的数据传输产生的延迟开销，来减少总体推理延迟，这种方法限制了HLS4ML可以支持的模型大小和复杂性，并且基于FPGA的推理加速器和商用推理加速芯片均无法在探测器前端的辐射环境下运行，因此，本发明提出一种抗辐射低延迟神经网络推理加速芯片以解决现有技术中存在的问题。

【成果简介】本成果提供了一种抗辐射低延迟神经网络推理加速芯片，涉及对撞机技术领域，包括以下步骤：在探测器前端部署神经网络推理加速芯片，采用流式架构，将每级流水线对应于每个主要的神经网络层，平衡有限的片上内存资源和对大尺寸输入的支持，并构建层并行、通道并行和卷积核并行；本成果提出了在探测器前端部署抗辐射、低延迟、高效的卷积神经网络推理加速芯片，来提高未来探测器硬件的智能化水平，并为此提出了基于细粒度的流式架构、细粒度的存储管理、灵活的压缩和量化，以及抗辐射数字芯片设计技术，在实现抗辐射、低延迟推理的同时，实现高吞吐量和低片上内存消耗，使下一代新型智能探测器可以在前端实施基于神经网络算法的实时分析触发。

【成果图片】

【联系方式】段治国、安红高、刘树楠、吴涛，02767868068，02767868067，02767862769