Scaledown宣布推出约束解码模型(CDMs),这是一种任务特定的模型,专注于分类、提取和摘要,完全跳过生成循环。该模型一次读取输入,直接返回结构化输出,速度比前沿LLM API快200倍,成本低467倍,支持100万个标记的多模态上下文。目前已在OpenRouter、Vercel、Langchain等平台上线,预计将改变公司内部部署AI的代币经济模式。
Scaledown宣布推出约束解码模型(CDMs),这是一种任务特定的模型,专注于分类、提取和摘要,完全跳过生成循环。该模型一次读取输入,直接返回结构化输出,速度比前沿LLM API快200倍,成本低467倍,支持100万个标记的多模态上下文。目前已在OpenRouter、Vercel、Langchain等平台上线,预计将改变公司内部部署AI的代币经济模式。