FPGA工程师：做了五年芯片我发现AI推理优化是条新路

我盯着屏幕上那份FPGA综合报告LUT利用率78%时序勉强满足功耗却比上一轮评估高了12%。这个项目做了九个月是一个5G小基站的数字前端模块。理论上它应该是个硬通货方向但客户在上次会议上说这个需求先暂停预算要往AI推理加速器那边倾斜。我把报告最小化看着桌面背景那张两年前在实验室拍的芯片显微照片第一次认真思考做了五年芯片和FPGA我是不是该换一条赛道了这个念头来得不算突然。过去两年我明显感觉到传统通信和图像处理方向的FPGA项目在收缩而AI推理加速器、模型量化、NPU相关的需求在冒出来。招聘网站上做图像处理加速的岗位越来越少做大模型推理优化AI芯片应用的岗位越来越多薪资也明显高一截。一、做了五年芯片和FPGA发现项目越来越难抢我在芯片/FPGA领域干了五年。本科和研究生都是微电子背景毕业后进了一家做通信设备的公司做FPGA逻辑开发。后来跳到一家AI芯片公司做NPU相关的加速器设计。虽然公司叫AI芯片公司但我前两年做的主要还是传统CV加速和通信协处理。FPGA这行我熟悉它的工作节奏需求分析、算法定点化、RTL设计、仿真、综合、上板验证、调时序。一个项目动辄几个月周期长、节奏慢、但技术深度高。我最得意的一次是用HLS把一个图像去噪算法的处理延迟从20ms降到3ms客户很满意。但这几年我越来越觉得传统方向在走下坡路。通信方向5G小基站、前传处理、基带加速这些需求还在但市场增长放缓竞争激烈利润空间被压缩。图像处理方向视频监控、医疗影像、工业检测这些场景还在但很多算法已经迁移到GPU或NPU上纯FPGA方案越来越少。最直观的感受是招聘市场。我打开几个招聘App搜索FPGA工程师岗位数量比三年前少了很多搜索AI推理优化“模型量化”“NPU工具链”岗位数量在涨薪资也更高。同样是五年经验传统FPGA岗年薪可能50-70万AI推理优化岗能到80-120万还不一定能招到人。公司内部的变化也很明显。我们AI芯片公司前两年研发重心在通用CV加速器去年开始全力转向大模型推理加速。老板在会上说“大模型是未来五年的主战场。谁能在推理端把成本和延迟降下来谁就能吃肉。”我能感觉到我的传统FPGA经验正在从核心能力变成基础能力。如果不往AI推理方向走我会越来越边缘。二、转折点一次和大模型推理团队的碰撞让我真正下定决心转型的是一次跨部门的技术交流会。公司在做一个边缘端的大模型推理芯片项目需要把一个大模型在一个低功耗NPU上跑起来。我被临时抽调过去支援接口部分。会议一开始推理团队的负责人老张就提了一串问题“这个NPU支持INT8和INT4量化吗算子融合能做到什么程度KV Cache怎么管理attention能不能用FlashAttention思路优化算子调度能不能支持动态shape”我当时的表情大概是木的。这些问题里有几个词我听过比如INT8量化但我不知道具体怎么做KV Cache是什么我更是完全没概念。我过去做图像处理关心的是卷积、池化、激活函数这些在大模型里当然也有但大模型推理的核心挑战是Transformer、Attention、KV Cache、动态序列长度。我硬着头皮说“NPU硬件支持INT8和INT4但具体的量化方案和KV Cache管理需要软件和算法团队一起来看。”老张看了我一眼说“可以那你们硬件这边把INT8 MAC阵列的精度和吞吐数据给一下我们要算能不能压到目标延迟。”会议结束后我回到工位把KV Cache“FlashAttention”“INT8量化”算子融合这几个词写在本子上。我意识到如果我只会FPGA RTL和传统加速器设计在大模型推理这个时代会被边缘化。但如果我把FPGA/芯片的硬件优化能力和大模型推理的算法需求结合起来就会非常稀缺。那天晚上我开始查资料。我看了NVIDIA TensorRT-LLM的文档、看了FlashAttention的论文、看了INT8/INT4量化的博客。越看越有劲因为这些问题的本质还是硬件性能边界和算法映射效率这正是芯片工程师最擅长的东西只是战场换到了大模型。三、补AI推理优化的三块量化、算子优化、KV Cache管理我开始系统学习大模型推理加速。我发现它和我之前做的CV加速器有很多相通之处但也有显著不同。CV模型通常计算密集输入尺寸固定大模型推理是内存带宽和计算都密集输入序列长度动态变化KV Cache占用大量内存。我重点补了三块。第一块模型量化。量化是把模型权重和激活值从高精度浮点降到低精度整数从而减少内存占用和计算量。大模型推理最常见的量化是INT8和INT4。INT8量化把FP16权重映射到INT8内存减半计算用INT8乘法累加单元。精度损失通常可控很多7B、13B模型INT8量化后效果下降不明显。关键难点是激活值的量化范围校准calibration以及per-channel/per-token量化策略的选择。INT4量化更进一步权重压缩到4bit。Llama.cpp、GPTQ、AWQ这些方案都是INT4量化的代表。INT4能让70B模型在消费级GPU上跑起来但精度下降和实现复杂度也更高。我亲自用GPTQ量化了一个Llama 2-7B模型从13GB降到4GB在RTX 4090上推理速度提升约2.5倍。虽然7B模型简单场景下效果不错但复杂推理时仍能感受到精度损失。第二块算子融合与优化。大模型推理里有很多小算子如果每个算子单独执行会引入大量kernel launch开销和内存读写。算子融合是把多个算子合并成一个比如把LayerNorm Attention Residual Add合并。TensorRT-LLM、vLLM、MLC-LLM这些框架都做了很多算子融合。我学习了一个具体的优化FlashAttention。它的核心思想是把Attention计算分块减少HBM高带宽内存和SRAM片上缓存之间的数据搬运。传统Attention的复杂度是O(N^2)内存访问是瓶颈FlashAttention通过重计算和分块把内存访问降下来在某些硬件上能加速2-4倍。这个优化非常依赖硬件的SRAM大小和计算单元能力正是需要芯片工程师深入理解的地方。第三块KV Cache优化。这是大模型推理特有的问题。生成文本时模型每生成一个token都要把前面所有token的Key和Value缓存起来这就叫KV Cache。对于长序列KV Cache会占用巨大内存。比如一个13B模型序列长度4096batch size1KV Cache可能占10GB以上。我学习的KV Cache优化包括分页管理PagedAttention把KV Cache分成固定大小的块像操作系统管理内存一样管理减少内存碎片和预分配浪费。vLLM用的就是这个思路。量化KV Cache把KV Cache也量化到INT8进一步降低内存占用。共享KV Cache多轮对话中系统prompt的KV Cache可以共享不用每次都重新计算。动态分配根据实际序列长度动态分配而不是按最大长度预分配。四、第一个项目在NPU上跑通一个大模型推理学了四个月后我迎来了第一个实战项目在公司自研的NPU上跑通一个7B开源大模型并达到目标性能。这个NPU是我们公司设计的面向边缘推理场景。它有256个INT8 MAC单元支持INT8/INT4计算片上SRAM 8MB外挂DDR 16GB。功耗目标不超过15W。听起来资源很紧张但这就是我们产品的定位低功耗、低成本、够用即可。我负责硬件侧的算子映射和性能优化软件算法团队负责模型量化和图编译。第一步是算子支持梳理。大模型推理的核心算子包括Linear矩阵乘、LayerNorm、RMSNorm、Softmax、RoPE旋转位置编码、SiLU/Swish激活、Attention。我们NPU原生支持矩阵乘和卷积但LayerNorm、Softmax、RoPE这些需要特殊处理。我和算法团队一起把不适合NPU的算子放到CPU上跑或者拆分成NPU可支持的子操作。第二步是量化方案。我们和算法团队反复测试最终选定W8A8权重INT8激活INT8方案。这个方案在我们NPU上精度损失小于2%推理速度比FP16快约4倍。对于一些对精度敏感的层如embedding层和输出层我们保留FP16或做特殊处理。第三步是内存优化。7B模型FP16权重大约14GBINT8量化后约7GB加上KV Cache和中间激活16GB DDR非常吃紧。我们做了几件事权重按层加载推理到哪一层加载哪一层权重而不是一次性全加载。这需要NPU和DDR之间有足够带宽但能省内存。KV Cache量化把KV Cache从FP16量化到INT8内存减半。虽然会带来一定精度损失但在我们的测试集上可接受。静态内存池预先分配一块大内存推理过程中复用避免频繁malloc/free。第四步是性能profiling。我学会了用NPU工具链里的profiler看每个算子的耗时、带宽占用、MAC利用率。第一次跑通时我们测出来的结果生成第一个token要4秒后续每个token约800ms。老板定的目标是首token2秒后续token300ms。差距很大。我用profiler分析发现瓶颈主要在两个方面Attention计算没有利用好NPU的并行能力。我们的NPU对矩阵乘友好但Attention里的softmax和KV Cache访存模式不友好。CPU和NPU之间数据搬运太多。LayerNorm和RoPE在CPU上跑每次都要把数据从NPU DDR搬到CPU内存再搬回来。我针对第一个问题做了算子拆分把Multi-Head Attention拆成多个子操作并尽量把能并行化的部分映射到NPU的MAC阵列上。针对第二个问题我和工具链团队一起把LayerNorm和RoPE在NPU上实现用NPU的vector单元做归一化和旋转位置编码。优化后首token降到2.3秒后续token降到350ms接近目标。项目验收那天老张在群里发了一句话“这次能按期达到目标硬件优化功不可没。芯片团队对NPU的理解确实是我们比不了的。”我看到这句话心里有一种久违的踏实感。我还是在芯片这个领域但我开始为大模型推理服务了。五、从跑通到优化AI推理加速器工程师的深水区项目跑通后我开始思考怎么继续优化。大模型推理加速不是一次性的事情而是有很多深水区可以挖。一个是稀疏化。大模型里有很多权重接近零如果能把这些零值剪掉或者用稀疏格式存储就能减少计算量和内存。我学习了结构化剪枝和非结构化剪枝以及对应的硬件加速方法。比如结构化剪枝后可以用更密集的矩阵乘非结构化剪枝需要特殊的稀疏矩阵计算单元。我们评估过结构化剪枝在某些层上能把计算量减少30%但精度下降也在可接受范围内。另一个是投机采样Speculative Decoding。它的思路是用一个小模型快速生成多个候选token然后让大模型一次性验证。如果候选正确就能一次生成多个token提高有效吞吐。这个技术对硬件的要求是需要同时跑小模型和大模型或者快速切换模型。我在NPU上评估过这个方案发现内存带宽是瓶颈因为两个模型同时加载会超出DDR容量。未来如果NPU支持模型切片或更高的内存带宽这个方案会很有价值。还有一个是推理服务层面的优化。虽然我是硬件背景但我也开始理解vLLM、TensorRT-LLM这些框架的调度策略。比如continuous batching连续批处理可以提高GPU利用率paged attention可以管理KV Cache。这些软件和硬件是紧密耦合的。硬件设计时要考虑软件调度需求软件调度也要充分利用硬件特性。我开始参与NPU工具链的评审从硬件角度提建议比如片上SRAM应该多大、DDR带宽应该多少、要不要支持特定的稀疏格式。六、芯片工程师对硬件和性能边界的理解是大模型推理优化里最硬核的能力现在回头看我从FPGA/芯片工程师转向AI推理加速器和模型量化最大的体会是硬件和算法正在前所未有地紧密结合在一起。大模型推理的优化不是光靠算法或者光靠硬件就能做好的。你需要知道硬件的极限在哪里也需要知道算法在硬件上怎么映射效率最高。芯片工程师的优势恰恰在于我们懂硬件性能边界、懂计算和内存的trade-off、懂数据流设计、懂时序和功耗。这些能力在大模型推理优化里非常硬核。纯算法背景的工程师可能知道FlashAttention、知道量化、知道KV Cache但不一定清楚为什么INT4在某些硬件上比INT8慢因为位宽不匹配导致数据 unpack 开销为什么某些算子在FPGA上适合流水线实现为什么片上SRAM大小直接决定了能做多长的序列这些问题的答案需要从硬件层面理解。如果你也是芯片或FPGA工程师想往AI推理优化方向转我有几个具体建议第一先理解Transformer和Attention机制。这是大模型推理的基础。你不需要会训练模型但要理解每个算子在推理阶段做什么、输入输出是什么、内存访问模式是什么。第二动手做量化实验。用llama.cpp、GPTQ、AWQ、TensorRT-LLM这些工具跑一个模型量化观察精度和速度变化。量化是连接算法和硬件的桥梁理解了量化你就理解了一半的AI推理优化。第三学习一个推理框架。比如vLLM、TensorRT-LLM、TGI。这些框架里有大量工程优化包括continuous batching、paged attention、算子融合。你看懂了它们的思路就知道硬件该怎么配合。第四不要丢掉你的硬件功底。HLS、RTL、时序分析、低功耗设计、内存子系统设计这些能力在AI推理芯片里依然重要。只是你服务的对象从传统算法变成了大模型。第五关注工具链。NPU、DSA、AI芯片的竞争不只是硬件竞争也是工具链竞争。谁能让开发者更容易地把模型跑起来、优化好谁就有优势。懂硬件的人参与工具链设计会很有价值。上个月一个还在做传统通信FPGA的朋友问我“AI芯片这波还能火多久我要不要转”我跟他说“AI芯片的竞争才刚开始。大模型推理的成本现在是所有人都在攻的痛点。你做了这么多年硬件优化知道怎么把性能从硅片里榨出来。这个能力在AI时代只会更值钱。但前提是你得愿意学新东西。”他想了想说“那我先跑个量化Demo看看。”我笑了笑。这句话也是两年前我对自己说的。五年前我以为芯片工程师的终点是RTL和时序五年后我发现芯片工程师的下一站是帮大模型跑得更便宜、更快、更省电。这个方向比传统通信和图像处理更硬核也更有未来。我把FPGA开发板上的那个项目关掉打开了一个新的工程目录名字叫llm_inference_acc。这是我在AI时代的新起点。想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2026 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2026 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”