跳到主内容
← 返回题库
系统设计5/5 困难通用题ai · 笔试 ★ 0 · 浏览 4

大模型推理成本高,如何系统性降本且不降质

线上大模型服务月成本偏高,调用中约 60% 是输入 token(含较长检索上下文与多轮历史),20% 是重复/近似重复提问,输出长度不受控;业务方要求降本 40% 但答案质量不能明显下降。请给出优化路径、优先级、风险与验证方法。

参考答案

先自己想 30 秒再看答案,比直接读一遍有用得多。

追问链

  1. 1. 语义缓存误命中导致答非所问,如何控制阈值与兜底;模型路由的置信度怎么估计才可靠