亚洲财经

☰ 搜索

OpenRouter把Jev接进智能路由:换模型前先算缓存损失

OpenRouter上线Jev router,将typesafe的Jev接入模型路由。每轮请求发出前,Jev会判断任务难度、精度要求,以及当前模型和推理档位是否足够,再决定继续沿用、提高推理强度,还是更换模型。OpenRouter原有的auto router更偏向按任务类型选择模型,而Jev router会继续评估当前任务的难度。简单任务可以降档,难题则可以提高推理强度如果同一款模型仍能解决,就不急于更换模型。长对话中一旦更换模型,已缓存的上下文通常不能直接复用,新模型可能需要重新处理整段聊天记录。OpenRouter自测称,在4项agent benchmark中,Jev router完成237个任务,auto router完成130个,解决率约为82%。在另外5项benchmark中,Jev router的首token中位延迟也低于其他路由器。