AI 客服成本控制

ai客服通常会有很大长串提示词，对于大提示词，模型的计算成本很高，所以很多模型厂商都会提供缓存支持。模型缓存通常分为：隐式缓存，显式缓存、会话缓存（response_api使用）。

• 显式缓存：手动启用，命中计费一般是10%

• 隐式缓存：无需手动，自动计算前缀，命中率无法保障，计费一般是令牌的20%

参考：