主会话 + Thread 的模式,优化好的话 Token 消耗其实还好。 首先主会话反而不需要特别强的模型,Sonnet 5.5 这个级别都够用了,因为它的主要职责是甄别和路由,或者说调度。 就跟...
宝玉(@dotey)677 字 (约 3 分钟)
85
主会话与 Thread 模式结合,通过合理调度模型和使用缓存策略,可有效降低 Token 消耗。
入选理由:主会话使用 Sonnet 5.5 级别模型已足够,因其主要负责甄别和调度。
精选推文#AI#模型调度#Token 消耗#Prompt Caching中文
