一文看懂存算一体布局全景图：初创公司正另辟蹊径

图片来源@视觉中国

文｜偲睿洞察，作者｜Renee，编辑｜孙越

2023年，算力正被ChatGPT推上数字时代的宝座。

在今年第十七届中国IDC产业年度大典上，各路大佬们都在围绕“算力”，展开自己的畅想：

（何宝宏演讲内容 图源：IDC产业年度大典演讲PPT）

中国信通院云计算与大数据研究所所长何宝宏表示，数字世界消耗最核心的能源是算力，算力是今天的“三次能源”。

称算力是“三次能源”，一是因为算力是通过各种芯片、软件等数字技术，从二次能源电力加工转换而来；二是因为，算力与电力一样有着举足轻重的地位：电力网络是一个国家工业化的基础，算力网络是一个国家数字化的基础。

各路大佬除了对算力提出畅想，也给出了实际规划路线：在大会上，商汤科技、鹏博士大数据、浩云长盛、超聚变、竹间智能等业内专业人士表示，未来数据中心将分化成两种类型：追求极致算力的数据中心与产业赋能型的数据中心。

据介绍，追求极致算力的数据中心旨在提供最大的计算能力，以满足越来越庞大的AI模型的训练需求。这类数据中心主要关注计算能力和效率，目标是实现极高的性能和运算速度，通常会采用最先进的硬件设备，如高性能处理器、GPU和高速内存。

“极致”二字，全然显示着，算力正成为“紧俏货”，需要快马加鞭去布局。这，也是目前的现状：除了“东数西算”工程的启动，国家以及科技企业正加紧对液冷、水下数据中心、量子计算的实践与探索，企图补上算力的“窟窿”。

而当前，最热门的解决方案，莫过于“存算一体”。

存算一体（Computing in Memory），就是在存储器中嵌入计算能力，以新的运算架构进行二维和三维矩阵乘法/加法运算。与以往的冯诺依曼架构相比，其打破了由于计算单元与存储单元过于独立而导致的“存储墙”，能够达到用更低功耗实现更高算力的效果。

自2022年开始，芯片领域“天降紫微星”，存算一体实打实地火了：

学界，ISSCC上存算/近存算相关的文章数量迅速增加：从20年的6篇上涨到23年的19篇；其中数字存内计算，从21年被首次提出后，22年迅速增加到4篇。

产界，巨头纷纷布局存算一体，国内陆陆续续也有近十几家初创公司押注该架构：

在特斯拉2023 Investor Day预告片末尾，特斯拉的do­jo超算中心和存算一体芯片相继亮相；

在更早之前，三星、阿里达摩院包括AMD也早早布局并推出相关产品，且“用过的都说好”：

阿里达摩院表示，相比传统CPU计算系统，存算一体芯片的性能提升10倍以上，能效提升超过300倍；

三星表示，与仅配备HBM的GPU加速器相比，配备HBM-PIM的GPU加速器一年的能耗降低了约2100GWh。

目前，国内的亿铸科技、知存科技、苹芯科技、九天睿芯等十余家初创公司采用存算一体架构投注于AI算力，其中亿铸科技专注AI大算力。

同时，我们可以看到，各个初创公司选择了不同的存储介质：RRAM、SRAM、闪存等，且各家公司芯片适用的场景也有所区别。

本文，偲睿洞察将梳理国内外已经入场的科技企业，试图描绘一幅存算一体全景图。

01 存算一体的“兄弟姐妹”

一时间，学术界、产业界纷纷向存算一体抛去橄榄枝，而大家所青睐的存算一体，大不相同。

学术界和产业界对存算一体的技术路径尚未形成统一的分类，目前主流的划分方法是依照计算单元与存储单元的距离，将其大致分为近存计算（PNM）、存内处理（PIM）、存内计算（CIM）。

近存计算，本质上仍是存算分离架构，计算操作仍由位于存储外部、独立的计算单元完成。只不过，该构架能够通过存储上移或计算的方式，让数据靠近计算单元，从而缩小数据移动的延迟和功耗。

特斯拉、阿里达摩院、三星等大厂所选择的，便是近存计算。

据Dojo项目负责人Ganesh Venkataramanan介绍，特斯拉Dojo（AI训练计算机）所用的D1芯片相比于业内其他芯片，同成本下性能提升4倍，同能耗下性能提高1.3倍，占用空间节省5倍。

具体来说，在D1训练模块方面，每个D1训练模块由5×5的D1芯片阵列排布而成，以二维Mesh结构互连。片上跨内核SRAM达到惊人的11GB，由于用上近存计算架构，能效比为0.6TFLOPS/W@BF16/CFP8。业内人士表示，对于CPU架构来说，这一能效比非常不错。

阿里达摩院在2021年发布采用混合键合（Hybrid Bonding）的3D堆叠技术——将计算芯片和存储芯片face-to-face地用特定金属材质和工艺进行互联。在实际推荐系统应用中，相比传统CPU计算系统，存算一体芯片的性能提升10倍以上，能效提升超过300倍。

三星基于存内处理架构，发布存储器产品HBM-PIM（严格意义上是PNM）。三星表示该架构实现了更高性能与更低能耗：与其他没有HBM-PIM芯片的GPU加速器相比，HBM-PIM芯片将AMD GPU加速卡的性能提高了一倍，能耗平均降低了约50%。与仅配备HBM的GPU加速器相比，配备HBM-PIM的GPU加速器一年的能耗降低了约2100GWh。

存内处理，本质上同样是存算分离，不过相较于近存计算，“存”与“算”距离更近：独立的计算单元内嵌于存储芯片，同样也是各干各的。

国内知存科技选择的便是存内处理：2022年3月，知存科技量产的基于PIM的SoC芯片WTM2101正式投入市场。距今未满1年，WTM2101已成功在端侧实现商用，提供语音、视频等AI处理方案并帮助产品实现10倍以上的能效提升。

存内计算，才是真正的、狭义的存算一体。在该框架下，存储单元和计算单元完全融合，没有独立的计算单元：直接在存储器颗粒上嵌入算法，由存储器芯片内部的存储单元完成计算操作。

这，也就是国内大部分初创公司所说的存算一体：

并且存内计算，正一步步提高声量：在ISSCC 2023的34个session中，有3个session的标题都直接用到存内计算。

可以看到，大公司与初创公司“自觉”分为两个阵营：特斯拉、三星、阿里巴巴等拥有丰富生态的大厂以及英特尔，IBM等传统的芯片大厂，几乎都在布局PNM；而知存科技、亿铸科技、智芯科等初创公司，在押注PIM、CIM等“存”与“算”更亲密的存算一体技术路线。

综合生态大厂思量的是，如何快速攻破算力和功耗的瓶颈，让自己丰富的应用场景快速落地；芯片大厂们针对客户所提出的高效算力和低功耗需求，开发出符合客户需求的技术。

也就是说，大厂对存算一体架构提出的需求是“实用、落地快”，而近存计算作为最接近工程落地的技术，成为大厂们的首选。

而中国初创公司们，由于成立时间较短、技术储备薄弱：缺乏先进2.5D和3D封装产能和技术，为打破美国的科技垄断，中国初创企业聚焦的是无需考虑先进制程技术的CIM。

02 “新老”器件，硝烟四起

从目前发展路径来看，存算一体芯片正处于多种存储介质百花齐放的格局，存算一体架构正承载着多种存储介质：

传统存储器阵营，易失性存储器包括SRAM、DRAM、非易失性存储器包括NAND、NOR等，新型存储器包括RRAM、MRAM等。同时，不同介质使用的应用场景也大不相同。

目前，在传统存储器阵营中，SRAM、DRAM、NOR Flash出现的频次更高。

一种静态随机存储器，原理是利用晶体管是否接通来代表一个bit是1还是0，有着以下特性：

基于速度快、成熟度高、密度难以突破的特性，SRAM一直广受欢迎：

在学术领域，SRAM凭借其高成熟度和高存取速度成为存算一体领域里的热门研究对象；

在市场应用方面，SRAM作为传统存储介质适合IP化，SRAM存算一体在中小算力、端侧、对待机功耗无要求的场景，例如可穿戴设备、无人车等市场具有一定的应用价值：

九天睿芯，基于神经拟态感存算一体架构的芯片已实现量产，应用于智能语音和视觉识别领域。

苹芯科技，开发实现多款基于SRAM的存内计算加速单元并实现流片，目前处于外部测试和demo阶段，产品应用于图像识别、无人机等领域。

一种动态随机存取存储器，原理是利用电容内存储电荷的多寡来代表一个bit是1还是0。该存储器有着以下特性：

基于容量大、成本低、功耗大等特性，DRAM常用于更注重容量的主存储器，如计算机、智能手机、服务器内存等。

一种非易失闪存技术，利用存储单元的多值特性，通过器件本征的物理电气行为（例如基尔霍夫定律与欧姆定律）来实现多值MAC 运算。该存储器有着以下特性：

基于低功耗、容量小等特性，NOR FLASH更适用于车载摄像头、激光雷达等应用场景：

（Flash 在汽车电子中的应用容量与领域 图源：财信证券）

而在新型存储器中，RRAM、MRAM、PCM活跃度更高。

一种以非导性材料的电阻在外加电场作用下，在高阻态和低阻态之间实现可逆转换为基础的非易失性存储器。该存储器有着以下特性：

目前，RRAM工艺正一步步成熟：在2021年，晶圆代工厂台积电现身，为RRAM站台：宣布40nmRRAM进入量产，28nm和22nmRRAM准备量产。

国内同样传来利好消息：2022年2月，昕原半导体主导建设的RRAM 12寸中试生产线顺利完成了自主研发装备的装机验收工作，实现中试线工艺流程的通线，并成功流片（试生产）。

在工艺渐趋成熟背景下，基于兼容性高、微缩性好等特性，RRAM更适用于以下场景：

是一种基于隧穿磁阻效应的技术。该技术的工作原理是使用隧道层的“巨磁阻效应”来读取位单元，当该层两侧的磁性方向一致时为低电阻，当磁性方向相反时，电阻会变得很高。该存储器有以下特性：

基于耐久性高、低功耗等特性，MRAM有以下合适的应用领域：

PCM的原理是通过改变温度，让相变材料在低电阻结晶（导电）状态与高电阻非结晶（非导电）状态间转换。该存储器有以下特性：

基于抗辐射性好但成本、良率低等特性，根据我国拥有PCM相变存储器生产能力的集成电路IDM企业时代全芯官网显示，PCM有以下应用领域：

综合来讲，存储介质各有各的优点，也各有各的“舒适圈”：

“新老”器件全面开花，皆有自己擅长的领域，但对于玩家来说，选择受限：传统存储市场已被垄断。

内存行业，美光、三星和SK Hynix在高性能存储领域市占率达100%；高性能计算领域，英特尔、AMD和英伟达的市场占有率也接近100%。高性能芯片代工领域，则被台积电和三星联合垄断。

例如DRAM，因极高的技术和资金壁垒，DRAM领域市场处于高度集中甚至垄断态势。目前，DRAM芯片市场是由三星、SK海力士和美光统治：2018至2020年，三大巨头市场占有率合计在95%左右。

基于此，初创企业正另辟蹊径：要么基于传统存储介质的存算一体制定特定场景的芯片；要么在存算一体架构下，用新型存储器，打破垄断。

由上面两张图可以看到，仅有选择新型存储器RRAM的公司，能够实现大算力，而其余基于传统存储器的基本仅能cover住AIOT、车载模块等低算力场景。

例如亿铸科技，基于RRAM研发“全数字存算一体”大算力芯片，通过减少数据搬运提高能效比，同时利用数字存算一体保证运算精度，能够应用于云端AI推理、边缘计算、数据中心、自动驾驶等大算力场景。

03 从2MB的AIOT到512MB的自动驾驶

从上文公司产品应用场景可以看出，存算一体应用广泛，既能装在一块小小的智能门锁，也能应用于1000+TOPS的数据中心。那么，存算一体到底能cover住多少场景？

综合市面上已有的报告以及专家观点，偲睿洞察将应用场景按照算力大小进行划分：

一是端侧小算力场景，例如智能可穿戴设备、智能安防、移动终端、ARVR等。

二是大算力场景，例如云计算数据中心、自动驾驶、GPT-4等大模型等。

目前，业内对于大算力的“大”界定是模糊的，而根据下游市场的实际需求，大算力起码是1000TOPS及以上：

以2020年发布的GPT3预训练语言模型为例，采用的是2020年最先进的英伟达A100 GPU，算力是624 TOPS。2023年，随着模型预训练阶段模型迭代，又新增访问阶段井喷的需求，未来模型对于芯片算力的需求起码要破千。

再例如自动驾驶领域，根据财通证券研究所表明，自动驾驶所需单个芯片的算力未来起码1000+TOPS。目前巨头已开始卷上1000+TOPS的SoC，主要用于自动驾驶领域：在2021年4月，英伟达就已经发布了算力为1000TOPS的DRIVE Atlan芯片。到了今年，英伟达直接推出芯片Thor达到2000TOPS。

目前来看，在存算一体架构下，能够真正实现大算力的，仅有亿铸科技一家：

而在这两大类场景之中，存算一体并非都有着绝对性的优势。针对端侧的可穿戴等小设备，由于AI加速能力占比过小，存算一体的优势并不大：ARM占30%，降噪或ISP占40%，AI加速能力仅占30%。

但云和边缘大算力场景，是存算一体芯片的优势领域。这是因为，大算力场景下，对设备提出了高要求：实现高性能、高计算密度、高算力的同时还需实现低功耗。而这，就大部分仰仗于AI能力。据业内人士表示，存算一体在云和边缘的大算力领域的竞争力影响约占90%。

04 未来的路：“第三极”、融合、突破天花板

存算一体正博得学界、产界等各路人马的青睐，基于现有的技术、发展路径以及应用场景并结合业内人士观点，偲睿洞察认为，存算一体将有着以下发展趋势：

1、随着AI技术的加速落地，ChatGPT等大模型对算力的大量需求，将为存算一体技术带来核级推动力。存算一体将成为继CPU、GPU架构之后的算力架构“第三极”。

2、在布局存算一体的玩家之中，有创新精神、强劲研发、工程实力的团队及公司将脱颖而出。

这是因为，存算一体芯片在设计层面有较高难度，且没有成熟的方法可供参考：存算一体是计算系统和存储系统的整合设计，比标准模拟IP和存储器IP更复杂，依赖于多次存储器流片而积累的经验，这就需要创始团队有充分的存储器量产经验和技术路线认知。

根据量子位针对存算一体公司多位高管的多次采访，综合来看，团队需具备以下能力：

1）领导层要有清晰的目标：在存储器和计算模式、架构的选择上要有清晰的思路，并且能够准确、快速地带领团队往前走。

2）团队需具有深厚技术背景的人员，对技术方向有精准把握，尤其是在新型存储器技术上的探索。

3）在核心研发、工程团队中，需要在技术的各个层级中配备经验丰富的人才。

3、与多种先进技术融合，实现系统级创新，从而突破算力天花板。

在ISSCC 2023，苏妈提出系统级创新概念，即从整体设计的上下游多个环节协同设计来完成芯片性能的提升，并给出使用该概念实现数量级的效率提升案例。

也就是说，若是将存算一体、Chiplet（芯粒）、3D封装等技术同步使用，很有可能带来数量级的效率提升，从而突破性能瓶颈。

目前，国内已有团队进行“系统级创新”实践：作为首发存算一体超异构概念的亿铸科技，提出了自己的技术畅想：

若能把新型忆阻器技术(RRAM)、存算一体架构、芯粒技术（Chiplet）、3D封装等技术结合，将会实现更大的有效算力、放置更多的参数、实现更高的能效比、更好的软件兼容性、从而抬高AI大算力芯片的发展天花板。

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App

​Read More