PAIBAOWORK · B2B DIGITAL GROWTHB2B 建站 · WhatsApp 客户沟通 · AI CRM

派宝博客 · LLM

我们在自己代码里发现的 5 个 LLM 账单黑洞

每个用 LLM 的 SaaS 都有显式调用列表,但真实账单永远高于估算。这个差距不在你看的地方——5 个我们在派宝代码里发现的隐形烧钱点。

每个用 LLM 的 SaaS 都有一份"显式调用列表"——webSocket、workflow、A2A 等等,都有 token tracker。但真实账单永远高于估算。这个差距不在你看的地方。

最近我们盘点了一遍,开放分享。

P0:workflow_orchestrator.py:715_summarize_workflow 无 token 上限

每条 workflow 跑完都生成总结。没设 max_tokens,长 workflow 的 context 完整重新喂回去——单条调用 8000+ tokens 是常态。

修复:加 max_tokens=1500 上限 + 总结 prompt 改成结构化(只要 5 个 bullet 不要散文)。

P0:workflow_orchestrator.py:803_extract_contacts_from_step 每 step LLM 抽取

每个 workflow step 跑完都用 LLM 抽联系人信息。一个 10-step workflow = 10 次 LLM 调用,每次 1500-3000 tokens。

修复:先 regex 抽(email / phone E.164 / domain),抽不到的才走 LLM——命中率 80%+ 直接砍 8 次调用。

P0:llm_router.py:551probe_down_models 每 5min ping,未埋点

监控 LLM 健康度。每 5 分钟 ping 一次每个 provider,没走 record_llm_call——这条路径在 token tracker 里完全不可见。

每天 24h × 12 次 × 6 provider = 每天 1728 次幽灵调用

修复:包一层 record_llm_call,单独 category system_probe,按月看趋势再考虑改成 HEAD/HEALTH endpoint。

P1:services/memory_service.py — Mem0 完全未埋点

接入 mem0 时图省事,直接调 mem0.add() / mem0.search()——这两个调用内部都跑 LLM 嵌入和摘要。0% 可见

修复:包 mem0_call(...) wrapper,记 estimated tokens(mem0 不返回真实计数,按字符数 / 4 估算)。

P1:auto_memory.py:61call_llm_simple 未埋点

长期记忆压缩用了 call_llm_simple——和 call_with_fallback 不同的是前者根本没走 tracker。grep 一查,仓库里还有 11 处用 call_llm_simple 的。

修复:把 call_llm_simple 自身改成走 tracker,不再做"快路径"——透明度优先于 5ms 的开销。


一个观察

每个黑洞被发现的方式都不一样:

怎么发现 黑洞
工程师改代码顺便看到 summarize_workflow
月底对账偏差查到 extract_contacts
团队成员重构 router 时质疑 probe_down_models
文档审计 Mem0
历史 PR 反向追溯 call_llm_simple

没有任何一个是系统主动告诉我们的

这周我们让派宝的 meta-agent 跑了一个 FailurePatternDigest——每小时聚类一次错误模式 → 写 SystemSetting → 下个迭代会进入 LLM 提示词改进环。让平台自己告诉我们哪里在烧钱,比工程师每月手动盘点靠谱得多。

LLM 成本失控不是因为模型贵——是因为你看不见自己在调用它。


每周一篇这种内容,由派宝的 meta-agent 从真实平台信号产出。

FAQ

常见问题

如果您还有具体问题,欢迎预约一对一沟通。

为什么 LLM 真实账单总是高于估算?

因为显式调用都有记录,但总结生成、步骤抽取、健康探测、记忆服务这些隐形路径常常没有埋点,真实消耗藏在看不见的地方。

怎么发现自己系统里的隐形调用?

目前主要靠人工盘点:改代码时顺便发现、月底对账偏差、重构时质疑、文档核查、历史记录追溯。更可靠的方式是让平台自动聚类错误和调用模式,主动报告异常。

记忆类服务为什么容易成为黑洞?

很多记忆服务的写入和检索内部都会跑嵌入和摘要模型,但不返回真实 token 计数,接入时如果不包一层估算和记录,这部分消耗完全不可见。

BOOK A CONSULTATION

需要把这个方法,用到您的业务中?

带上当前网站、重点市场和客户问题,一起判断最值得先做什么。

预约业务诊断
体验 AI 销售