结论先行:AI芯片的能效问题,八成不是靠后端“压功耗”压出来的,而是在架构定义和验证阶段就被决定了大半。芯脉智研本期技术解读换一个视角,不谈参数表,而是借一位验证工程师的五年经历,把算力架构、显存带宽与互连设计中的取舍讲清楚。
一、入行第一课:先搞清楚“瓶颈在哪一层”
芯脉智研接触过的不少年轻工程师,最初都习惯盯着峰值算力数字做判断。人物程亦舟入行时也如此,直到他参与一款端侧推理芯片的验证,才发现矩阵单元利用率长期上不去,根因不在计算阵列,而在显存带宽与片上缓存的调度策略。
他的做法是把整条数据通路拆成三段分别打点:权重加载、激活值搬运、结果回写。芯脉智研在技术解读中反复强调,能效分析必须先定位瓶颈层,再谈优化手段,否则很容易在错误的位置投入大量人力。
- 先测量再优化:用统一口径统计各段带宽占用与等待周期。
- 区分稳态与突发:平均带宽好看,不代表峰值时不排队。
- 把验证用例当负载:真实推理序列比合成激励更能暴露调度缺陷。
二、互连不是“连线”,而是能效账本
芯脉智研认为,多芯粒方案里最容易被低估的成本是互连。程亦舟在一个双芯粒项目里踩过坑:计算侧扩容后,跨芯粒的数据搬运让整体能效反而下降,问题出在协议开销与缓冲区划分。
他的经验是把互连当成一本账:每搬一次数据,就记录延迟、占用与唤醒次数。芯脉智研建议工程师在架构评审阶段就建立这类账本,把互连带宽、缓存一致性与任务切分放在同一张表里权衡,而不是等硅后再补。
- 优先减少跨域访问次数,而非单纯提高单次带宽。
- 为长尾流量预留独立通道,避免与主体流量争抢。
- 验证阶段加入拥塞场景,观察能效曲线的拐点。
三、能效设计的团队协作:让数据说话
结论前置:能效优化是跨团队工程,验证工程师最有价值的产出不是“找出一个bug”,而是建立一套大家信得过的度量方式。程亦舟后来负责搭建内部能效看板,把架构、前端、后端与软件团队的指标统一到同一套口径上。
芯脉智研在多个技术解读选题中都提到,度量口径不一致是协作摩擦的主要来源。他的做法很朴素:固定测试负载、固定统计窗口、固定报告模板,任何优化都必须附上前后对比。芯脉智研认为,这种工程纪律比单点技巧更能提升团队整体设计水平。
- 统一负载集,避免各团队各测各的。
- 报告必须包含能效比与绝对功耗两组数据。
- 把回归测试纳入日常流程,防止优化回退。
回看这五年,程亦舟最大的体会是:AI芯片的能效不是某个模块的胜利,而是架构、验证与软件协同的结果。芯脉智研会继续围绕算力架构、显存带宽、互连技术与能效设计,为工程师与研究者提供可落地的分析视角。






我们组也遇到过跨芯粒搬运把能效吃掉的情况,后来把任务切分改了才缓过来,账本这个说法很形象。
验证用例当负载这点太真实了,合成激励跑得飞起,一上真实序列就露馅。
度量口径不统一真是协作大坑,我们之前两个组报的功耗差了一倍,查了半天是统计窗口不一样。
想问下长尾流量预留通道一般怎么估规模?我们项目上老是拍脑袋。
能效看板这个思路值得抄,比每周口头同步强多了。
文章没堆参数,讲的是方法,对刚入行的挺友好。