国产GPU能不能打？算力租赁商的真实测试与选型建议

1. 被客户追问了一年的问题国产GPU到底行不行1.1 我的机柜里第一次出现了成排的国产卡过去五年我一直做GPU算力租赁生意。从最初一柜子转租来的卡到现在自建机房、几百张卡同时在线也算是把算力这行当的苦和甜都尝了一遍。但过去一年被问得最多、也最让我挠头的问题不是有没有4090而是国产GPU真能打吗这个问题的来源很现实。国际高端卡市场供货不稳定价格忽高忽低加上不少客户的项目有着明确的本地化、合规性要求国产GPU开始频繁出现在询价单里。一开始我和很多同行一样嘴上说支持国产心里其实犯嘀咕跑传统模型也许行大模型能扛住吗客户会不会租了三天就来找我退钱所以过去一年里我陆陆续续进了几个品牌、几十张国产加速卡还专门划出一个国产卡专区用真实业务去测它们。像昇腾、寒武纪、海光这些走在前面的厂商还有摩尔线程、壁仞等新势力我都在自己的机房实际接触过不是只看PPT参数。但租赁生意的特点就是任何卡好不好用骗不了人——用户按小时付费跑得了活就是抢手货跑不了活就只能压在机柜里吃灰。这篇文章不聊情怀只聊我作为一个算力租赁商在过去一年把国产GPU租给客户时看到的真实表现哪些场景能打哪些场景翻车成本怎么算以及最终我给了客户什么样的选型建议。1.2 为什么算力租赁商最适合评价一块GPU经常有人问我你们租赁商的评价算不算数我觉得比单纯跑benchmark算数得多。原因很简单——我们不是拿卡跑一遍测试就发朋友圈而是把卡扔进真实的生产环境里由几十个客户、几十种框架、几十类业务轮番折磨。同一个客户今天要跑Stable Diffusion出图明天要跑Llama推理接口后天可能又要训练一个推荐模型。每一类任务的负载曲线、算子类型、显存占用、通信模式都不一样。一张卡能不能在这样高强度的混流环境下稳定输出光看厂商给的TFLOPS是看不出来的。而且算力租赁是一个买方市场客户不满意随时退租。那些真正撑得起生产负载的国产卡会被客户不断复购而那些只适合跑分表演的卡很快就会变成机房里的静态资产。所以我下面要讲的每一个结论背后都是真金白银的出租率和复购率不是哪个厂商的发布会通稿。2. 先给结论推理是真能打训练要挑活2.1 大模型推理国产卡已经能进生产环境先说大家最关心的推理。过去半年我把所有主流国产卡的推理表现都测了一遍也把它们推荐给了真实客户。结论是在7B、8B、14B这个级别的开源大模型上国产卡的推理能力已经完全够用。以Llama-3-8B模型、FP16精度、单卡部署为例。国产主流加速卡在连续并发请求下单卡吞吐量大概是主流国际加速卡的65%到80%之间如果把精度降到INT8或者INT4差距还会进一步缩小有些卡甚至能做到打平。而在首token时延和生成速度上国产卡的表现也没有出现很多人担心的那种灾难级拉胯整体响应水平对生产环境是友好的。我做过一个比较典型的测试用vLLM框架部署Qwen2-7B并发32路请求输入输出长度控制在128和256 token。国产卡的端到端生成速度大约在每秒850到1000 token之间而国际主流卡的对比组在1100到1300 token左右。也就是说虽然单卡效率低一截但是国产卡单价也低很多整体单位算力成本反而更有优势。另一个被低估的场景是视觉模型推理。像ResNet、YOLO系列、OCR识别这类任务对算子的需求相对固定国产卡的适配成熟度非常高。我一些做工业视觉、安防识别的客户早就把全部推理负载切到了国产卡上几个月跑下来几乎没有出过问题。2.2 训练和微调能干的活和干不了的活边界很清楚训练这块就要分情况讨论了。如果任务是小规模微调比如用LoRA微调一个7B模型或者训练一个几千万参数的小模型国产卡完全能接。我这边就有客户用国产卡跑过ChatGLM3-6B的LoRA微调跑了一个多星期每天训练十几个小时稳定性没有出过问题。但如果任务变成从头预训练一个几十B的大模型或者要用到千卡规模的多机多卡并行那国产卡目前还撑不太起来。原因有两层一是通信库不如CUDA生态成熟多机扩展性差二是分布式训练框架和国产加速卡的配合深度还不够很多模型无法直接原样跑起来需要投入大量时间改造。我自己的判断标准很简单能用单机解决的训练任务国产卡可以上一旦需要搭建超过四台机器的训练集群我会直接劝客户先别冲动。这里不是看不起国产卡而是产能、技术支持和客户预期这些现实因素摆在那里一个租赁商没必要拿客户的项目去冒险。2.3 为什么会出现推理强、训练弱的格局很多人不理解同一张卡为什么推理还行、训练就不行其实推理和训练对芯片的要求根本不是一回事。推理更看重单次算子的执行效率和显存带宽而训练除了算力之外还极度依赖框架层面的自动微分、梯度同步、多卡并行策略这一整套东西需要芯片厂商和PyTorch、MindSpore等框架团队深度适配。用个不恰当的比喻推理像是送外卖摩托车的灵活性够用训练像是跑长途货运需要重卡的载荷和长途可靠性。国产卡在送外卖的赛道里已经追到了可用的水平但在跑长途的赛道整车配套、服务区、维修网络还没建齐。所以你要问我国产GPU真能打吗我第一句回答永远是看你在哪个战场。3. 真正的分水岭软件生态和迁移成本3.1 装驱动、配环境能劝退一半人如果只看算力参数国产卡早就不落后了但实际用起来的感受完全是另一回事。我这个人有个习惯每一批新卡到货我一定自己先装一遍驱动、配一遍环境。因为只有把厂商说的开箱即用亲自验证过我才敢放心租给客户。真实的体验是国产卡的驱动安装不像NVIDIA驱动那样装完就完事接着装CUDA、cuDNN、容器运行时全流程几乎无脑。国产卡首先会遇到操作系统内核版本匹配问题驱动和内核版本绑定得很紧内核一升级驱动就罢工。然后需要装专门的加速库、编译器还要修改环境的PATH和LD_LIBRARY_PATH。如果你用的是容器还要构建带特定驱动的镜像不能用标准PyTorch镜像直接拉起来跑。这一步已经能劝退很多只写过Python代码的算法工程师了。我记得有个客户在SD出图项目上选了国产卡第一天发工单说环境装不上我远程上去一看就是PyTorch版本自带的CUDA Runtime和国产卡驱动冲突了最后只能帮他重装指定版本的PyTorch才能跑起来。3.2 算子覆盖表面支持不等于所有op都支持软件生态里更隐蔽的坑是算子覆盖。厂商会宣传支持PyTorch框架但只要往深处跑就会遇到某些算子没有优化实现或者干脆不支持。在推理场景里算子相对固定厂商预先优化的路径能覆盖90%以上但一旦训练脚本里用了比较生僻的算子就可能触发回退到CPU执行或者直接报错。我踩过一个典型案例客户租了四张国产卡要跑一个推荐模型训练脚本里用了一个比较新的稀疏注意力算子。在NVIDIA卡上这个算子由cuDNN和FlashAttention完整支持但在国产卡上跑了两个小时后才开始报operator not supported。当时我们第一反应是代码问题排查了半天才发现是算子不兼容最后只能改写模型结构绕开那个算子才跑通。表格里是我对这些国产卡软件栈成熟度的直观感受软件栈环节国际主流卡国产主流卡迁移难度驱动安装主流内核基本兼容内核版本强绑定升级需谨慎中PyTorch 适配原生支持需专用分支或插件中高常见CV/LLM算子覆盖全面主流算子覆盖尚可生僻算子易踩坑中分布式训练支持成熟多机扩展性好单机可用多机通信效率偏低高容器镜像生态直接拉取官方镜像即可用需自行构建或使用厂商镜像中高3.3 一次真实迁移TensorFlow老代码迁移到国产卡为了让读者更直观地理解生态差距我讲一个真实的迁移项目。有个做工业质检的客户有一整套基于TensorFlow的老代码原本跑在几台老旧的国际加速卡上因为设备老化想换成国产卡。我一开始以为只是个换卡重装驱动的活结果整个过程花了整整三周。第一周卡装好了驱动装好了TensorFlow也能import了但一跑训练就报错提示某个自定义op找不到。我们查了两天才发现厂商的适配层并没有完整支持客户代码里用到的那个预处理算子。第二周我们绕开了自定义op又发现数据管线里用到了内存拷贝的接口在国产卡驱动下的表现异常导致数据加载速度只有原来的20%整个训练流程慢得像爬。第三周我们索性把数据处理部分改成了CPU多线程方案又重写了几个关键算子这才把流程跑通。这个项目的结局是好的客户现在用得很稳定综合成本比原来低了近三成。但我想强调的是这笔账里有一大半其实是人工迁移成本。如果你的团队没有专职的框架工程师贸然把一套深度依赖CUDA生态的代码迁到国产卡上光迁移调试的成本就可能吃掉你省下的采购差价。提示如果你的老代码深度依赖CUDA生态先算清楚迁移成本再决定要不要为了省采购费换卡。4. 租赁商的生意经国产卡能租但定价有讲究4.1 采购成本比参数更有吸引力的原因作为租赁商我最先关注的是买卡的钱什么时候能回来。国产卡的成本优势确实存在同档算力的加速卡采购单价往往比国际主流卡便宜20%到40%。但在服务器整机层面这个优势会被压缩一些因为国产加速卡对整机配套有特殊要求比如更大的散热、更高的供电冗余、专用的互联模块这些都会增加整机采购成本。库存方面也有一个容易被忽视的问题国际高端卡的二手残值率高持有两年后还能卖掉相当一部分钱而国产卡因为技术迭代快、市场存量小二手流通渠道很窄。我身边就有同行手里的旧型号国产卡挂了大半年都卖不出去最后只能拆零件处理。所以在我的账本里国产卡的实际持有成本不是采购价减去残值这么简单还要算上贬值速度、维修周期、以及租不出去时占用机柜的隐形损失。这也是为什么很多租赁商给国产卡的定价策略跟国际卡完全不一样。4.2 定价逻辑和回本周期实测目前我这边国产卡的租金定价大概是同档国际卡租金的50%到70%。以单卡推理型算力为例给客户报的月租金可能只是对应国际卡的六成左右。听起来租国产卡很划算但对我们租赁商来说关键不是单价而是出租率。我做了一张简化的回本测算表给大家参考数字做了一定模糊化处理各地电力和带宽成本不一样项目国际主流卡国产主流卡单卡采购价占比100%基准65%-80%整机配套成本低中高月租金定价100%基准55%-70%需要达到的出租率60%75%-85%预计回本周期24-30个月18-24个月二手处置难度低高这张表说明了一件事国产卡如果只是便宜对我们来说并不划算——因为它需要更高的出租率才能回本。但如果国产卡能在性能上满足客户需求同时依靠较低的租金把出租率拉上去回本周期反而可能比国际卡更短。这也是为什么我并没有因为生态麻烦就把国产卡全部下架而是在选品上越来越讲究。4.3 压在机柜里吃灰的卡有什么共同点做了这么久租赁我发现真正卖不动、租不出去的国产卡通常有这几个共同点技术文档稀缺、社区案例少、厂商售后响应慢。有些小众品牌的卡看起来参数很漂亮甚至比头部厂商还激进但买回来连一个像样的部署手册都没有出了问题只能靠内部工程师摸索。这种卡我后来基本都不碰了。我现在选国产卡的硬性标准有三条第一必须有完整的中英文部署文档最好有官方维护的Docker镜像第二必须有至少两家主流云厂商或大型算力中心在真实生产的案例第三厂商必须承诺故障卡24小时内响应、7天内返修。三条里缺任何一条再便宜我也不进。5. 谁在租国产GPU三类典型客户画像5.1 数据敏感型政企客户他们要的其实是可控第一类选择国产卡租金的客户来自金融、政务、医疗这类对数据管控要求特别高的行业。他们的共同特点是数据不能出域系统尽量本地化部署供应商必须能够提供源代码级别的支持和快速定制响应。对他们来说用哪张卡跑得最快不是第一优先级出了问题谁能最快解决才是。这类客户往往也不是直接来租裸算力而是要求我们把国产GPU集群、调度平台、运维服务打包成一个整体方案交付。他们用国产卡的意愿很坚决对租金反而不太敏感。一个典型需求是本地化部署一套企业私有知识库问答系统需要十张左右的国产卡跑向量检索和70B以下模型的推理。这种单子我一般都会接因为客户粘性高续费稳定几乎不用花太多时间维护。5.2 AIGC初创团队用便宜的算力把推理成本打下来第二类客户是AIGC方向的初创团队。他们通常已经有了成熟的产品需要稳定且便宜的推理算力来支撑API服务。过去用国际卡跑推理每月的算力成本可能占到公司总开支的30%以上对现金流是很大的压力。换了国产卡之后同样的QPS成本可能下降四到五成。有个做AI写作助手的客户上线初期用国际卡跑Llama-3-8B的微调模型每个月推理账单让他愁得睡不着。后来我推荐他把推理服务迁到国产卡上配合量化方案先用约一个月时间做了灰度切换最终单次请求成本下降了接近一半而且端到端时延几乎没有劣化。这个客户后来逢人就说国产卡真香但也只有我知道前期的模型量化和环境适配是花了不少人力才换来的。5.3 高校实验室和传统行业研究院预算有限但需求不简单第三类客户是高校实验室和传统企业研究院。他们的预算通常很有限买不起整套国际高端卡集群但对算力又有真实的科研和验证需求。高校实验室的常用场景包括小模型训练、论文复现、课程实验传统企业研究院则可能是用国产卡做缺陷检测算法的预研、语音识别模型的原型验证。这类客户最容易出现的问题是以为国产卡和普通显卡一样插上就能用。我遇到过不止一次老师或者学生租了卡跑了一下午环境还没配出来最后不得不请我们的工程师远程帮他们处理。这也暴露了行业的一个真实短板很多算法工程师的教育背景里根本没有接触过国产加速卡的工具链。对于这一点我觉得高校实验场景反而是国产生态最好的练兵场因为容错率高、试错成本低。5.4 客户问得最多的三个问题我统计了这段时间客户咨询国产卡的记录出现频率最高的问题就三个。第一个是国产卡能不能跑PyTorch我的回答是能但需要确认版本和算子支持别拿一个完全没改过的老项目直接跑。第二个是遇到问题有没有人管这里我必须说实话头部国产厂商的技术支持普遍不错但尾部品牌的响应速度就很不稳定所以我个人只推荐有成熟生态的品牌。第三个是和4090/A100比到底差多少这个问题最不好回答因为不同负载差距完全不同我通常会让客户先拿一小批数据做实测用数据说话。6. 运维翻车现场那些半夜工单教我的事6.1 一次驱动升级引发的节点宕机我讲一个印象特别深的运维事故。那天晚上11点左右监控突然报警一台部署了四张国产卡的推理节点全部掉线。我远程登录上去发现系统日志里整页刷的都是驱动相关的错误。一开始我怀疑是显卡过热排查了温度曲线发现温度正常又怀疑是电源供电不足但电源日志也没有异常。后来我翻出了前一天的操作记录才发现原来是某位同事为了防止一个安全漏洞顺手执行了系统内核的自动升级。问题就在这里——国产卡的驱动模块和旧内核是绑定编译的内核版本一变驱动模块加载直接失败。NVIDIA的驱动在这方面容错性高很多但国产卡的驱动对内核版本极为敏感升级内核前必须先确认驱动兼容性否则就是整个节点起不来。那次事故最终花了一个多小时紧急回滚内核才恢复。从那以后我在所有国产卡节点上彻底禁用了内核自动升级并且在运维手册里加了一条强制规定任何系统级更新必须提前申请由专人确认驱动兼容后才允许操作。注意国产卡节点一定要禁用内核自动升级。这个教训是用一次全节点宕机换来的。6.2 多卡互联单卡好用不代表集群好用还有一个被低估的坑是多卡通信。在单卡推理场景里国产卡基本不会露怯但只要把任务变成多卡并行通信瓶颈就立刻暴露出来。原因在于国产生态里不同卡之间的高速互联方案、通信库以及分布式框架的配合还不够成熟多卡的扩展效率远低于理想值。有个客户曾经租了四张国产卡做模型并行推理结果发现四张卡的实际吞吐只有单卡的2.2倍左右完全没有达到预期的3倍以上。排查之后发现问题出在卡间通信走的是PCIe通道而厂商推荐的专用高速互联方案需要额外购买配套模组。后来我们升级了互联模组效率才勉强接近3倍。这里提醒所有同行租国产卡做多卡并行一定要先确认卡间互联是走通用PCIe还是专用高速链路这直接影响性能和报价。6.3 售后支持的温差直接决定项目成败最后说说厂商支持。我合作的国产卡厂商里有的售后确实做得不错遇到算子兼容问题工程师可以当天给出workaround但也有的品牌工单提上去三天才回复一句我们正在排查然后就没有下文了。对于算力租赁商来说厂商支持的响应速度就是我们的生命线因为客户不会等厂商客户只会催我们。所以我现在跟每一位来咨询国产卡租赁的客户都会提前打好预防针国产卡的硬件质量问题在一年内基本不会出现软件层面的适配问题才是常态但只要选对品牌大部分问题都能在24小时内解决。选品牌就是选售后这句话在国产GPU这条赛道里尤其成立。7. 大实话国产GPU该不该上我的选型清单7.1 这三个场景我建议直接上国产卡第一个场景是70B以下开源大模型的推理服务尤其是对成本敏感的AIGC项目。通过量化配合并发优化国产卡完全能扛住生产压力整体性价比很高。第二个场景是视觉类的推理任务OCR、目标检测、图像分类这类算子标准化的负载国产卡的适配成熟度已经非常高基本没有迁移障碍。第三个场景是对数据安全要求极高的本地化部署需求国产卡在供应链可控、源码可改、定制响应方面有明显优势。7.2 这三个场景我劝你再等等第一个是千卡级大模型的预训练现阶段国产卡的分布式训练生态和集群调优经验都还不够强行上会非常痛苦。第二个是重度依赖CUDA闭源库的存量项目比如某些专有加速库、深度适配NVIDIA硬件特性的代码迁移成本高到得不偿失。第三个是超低时延的HPC科学计算场景这类场景不仅要拼算子性能还要求大量数学库的深度优化目前国产卡在这些领域还缺少足够的积累。7.3 给同行和甲方爸爸的三条经验最后分享三条我用真金白银换来的经验。第一先租后买别一上来就采购大批量国产卡。拿一小批卡在你自己的真实业务环境里跑两周看看算子覆盖、稳定性、售后响应全部满意再放大规模。第二从一开始就做好双栈设计让业务代码在国产卡和国际卡之间可切换不要把身家性命押在单一生态上。第三别被厂商宣传的纸面算力迷惑一定要用你自己最常用、最重要的模型做验证跑得过再谈价格。我自己现在的策略是国产做推理主力国际卡做训练和兜底。既不是无脑吹国产也不是死守国际卡阵营。技术这个行业今天不行不代表明天不行。至少在我这里国产GPU已经从一个备选项变成了常选项——它能打的战场已经比很多人想象的要大得多了。