亚洲财经

☰ 搜索

SGLang给普通大模型加上Jev式决策模式,不微调也能直接做选择

SGLang最近为普通大模型引入了Jev式决策模式,开发者无需微调即可直接进行选择和判断。该框架新增原生决策API,使得如qwen3.8-27b这样的现成LLM和多模态模型能够在不改动权重的情况下,直接返回候选答案的概率,而不再需要生成文本进行解析。SGLang还展示了使用qwen3.8-27b进行《宝可梦firered》的实时决策,模型能够在低于100ms的时间内判断攻击、换精灵或治疗,并成功打通四天王和冠军。新功能已进入nightly版本,计划随v0.5.21正式发布。