多模型路由进入 Agent 会话之后
模型路由在单轮问答中可以按难度分配成本,但进入 Agent 多轮会话后,还要处理上下文、工具状态、缓存和隐式状态。本文拆解会话级路由的智能与工程瓶颈,以及固定强模型、隔离子任务和有状态路由三条现实路线。
Topic
2 篇笔记
模型路由在单轮问答中可以按难度分配成本,但进入 Agent 多轮会话后,还要处理上下文、工具状态、缓存和隐式状态。本文拆解会话级路由的智能与工程瓶颈,以及固定强模型、隔离子任务和有状态路由三条现实路线。
How Session-Aware Agentic Routing in vLLM Semantic Router preserves long-horizon agent continuity with session memory, safe model-switch boundaries, prefix-cach