英伟达、AMD、英特尔等9家企业在首届SGLang峰会上宣布成立SGLang开源推理联盟,旨在共同开发这款AI推理引擎。此次峰会吸引了超过2000人参加,联盟成员包括Google、Meta等。SGLang是大模型运行时的底层软件,负责处理用户请求、调度GPU、管理显存等。联盟成立后,芯片厂商将更系统地参与开发,推动硬件性能优化。SGLang官方称,目前已有332家机构采用该项目,Meta透露迁移至SGLang后,其大规模生产环境中的GPU资源节省超过一半。
英伟达、AMD、英特尔等9家企业在首届SGLang峰会上宣布成立SGLang开源推理联盟,旨在共同开发这款AI推理引擎。此次峰会吸引了超过2000人参加,联盟成员包括Google、Meta等。SGLang是大模型运行时的底层软件,负责处理用户请求、调度GPU、管理显存等。联盟成立后,芯片厂商将更系统地参与开发,推动硬件性能优化。SGLang官方称,目前已有332家机构采用该项目,Meta透露迁移至SGLang后,其大规模生产环境中的GPU资源节省超过一半。