大模型调用成本这门账,很多团队第一次认真对的时候都会愣住:单次调用几厘到几分钱(以2026年主流厂商公开牌价为参考),月账单却动辄上万。单价便宜得离谱、总额贵得突然——问题出在“一次调用”和“一次业务”根本不是一回事,这篇就把这本账算明白。
token怎么算:先建立直觉
模型按token计费。1个汉字大约折0.6到0.7个token(各家分词器不同),一段500字的回答,连输入带输出通常在两三千token。顺带一个冷知识:表达同样的意思,中文通常比英文更省token,纯中文业务在计费上天然占一点便宜。
两个最容易踩的误区。其一,输入也计费——系统提示词、检索进来的知识库片段,全算输入token,很多团队的月账单里输入比输出还贵。其二,多轮对话是乘法——十轮对话,历史每轮都要重发一遍,实际发送的输入token是单轮的几倍,聊得越久越烧钱。
一笔真实的月账单
拿个典型客服机器人算一笔(以2026年市场行情为参考):
| 项目 | 数值 | 备注 |
|---|---|---|
| 日均会话 | 2000次 | 多轮,平均5轮 |
| 单次请求输入 | 约1500 token | 含知识库片段 |
| 单次请求输出 | 约400 token | — |
| 月token总量 | 约6亿 | 输入占大头 |
| 月API费用 | 数百到数千元 | 随模型档位浮动 |
拿到自己的账单,照这个思路拆:输入输出分开看,输入占比高就去瘦身提示词和检索片段,往往一个动作就能看出效果。同一套业务,不同团队跑出的账单差三五倍很常见——差距不在用量,在下面的手段用没用。
并发与私有化:另一本账
API按量计费,账简单。私有化换的是另一本账:一次性硬件投入换“不限量”——从单张卡的工作站到八卡服务器,几十万到几百万都有(以2026年市场行情为参考)。
粗略的盈亏平衡感:日均token量稳定过亿,私有化开始有得算;不到这个量级,API几乎总是更便宜。并发决定显卡数量——同时处理多少请求,决定要几张卡,这个参数一定先问业务方要,别拍脑袋。运维的人力成本,也别忘进总账。
把账单打下来的常用手段
按性价比排个序。提示词瘦身:系统提示词砍掉一半冗余,账单立减两成是常事。上下文缓存:固定前缀和多轮历史命中缓存后,按一折上下计费(各家折扣不同),客服场景受益最大。小模型分流:意图分类、格式改写这类粗活交给小模型,大模型只接难活。输出限长:让模型少说车轱辘话,省下的输出token都是纯利润。再加一招:高频重复问题(“营业时间几点”这类)在网关层做命中缓存,同样的问题根本不过模型——这一招几乎零成本,效果立竿见影。
这几招叠加,五折到八折的降幅很常见,而且基本不伤效果。
三笔容易漏掉的隐形支出
评测成本:每次换模型或升版本,评测集要重跑一遍,是持续投入。badcase处理:线上答错的复核、修正、回流的工程量,通常被估成零,实际不少。熔断机制:限流和预算告警必须在上线第一周就有——见过客户一个死循环bug,一晚上烧掉一个月预算,幸好告警把闸拉了。还有月度对账的习惯:厂商账单和自己日志对一遍,误差大的先查重试逻辑,重试风暴是隐形杀手——对账时多出来的量,八成是重试和超时后的重复请求,日志里一查一个准,而且十有八九出在客户端的超时设置上。
账算明白了再上路,总比半路爆胎强。能力建设怎么起步,可以参考AI先试的三个场景里的展开。
想要一份按你们预估调用量算出来的成本账?把日均会话数发到联系我们的表单里,或直接打18616880101——玉雀科技帮你算到小数点后两位,再决定自建还是调API。