亚洲财经

☰ 搜索

支持100多款应用与工作流程,AMD XDNA 2 NPU首次亮相

AMD与Unsloth携手,在Unsloth Desktop中新增对AMD XDNA 2 NPU的支持

19日,AMD与Unsloth宣布在Unsloth Desktop中增加了对AMD XDNA 2神经网络处理器(NPU)的支持。借此机会,超过100种结合应用与工作流的代理型人工智能(AI)可通过兼容OpenAI的API连接至基于NPU的本地推理环境。

AMD在官方声明中指出,XDNA 2 NPU是首个获得Unsloth Desktop支持的NPU。需要澄清的是,“首次支持”指的是该应用程序的支持范围,而非指NPU驱动的本地推理技术本身是全球首创。该系统采用分工协作架构:由Lemonade和FastFlowLM负责模型服务与推理,而CPU和GPU则保留用于处理代理的其他任务。

目前已接入的设备包括Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain以及GitHub Copilot等。此外,AMD的技术博客还以OMP和Visual Studio Code为例进行了展示。

运行架构与支持范围

AMD公开了使用Unsloth Desktop和FastFlowLM在XDNA 2 NPU上运行Qwen3.6 35B-A3B混合专家模型的演示。当使用完整上下文时,NPU内存需求约为28GB;在Windows默认共享内存设置下,建议系统RAM为64GB。AMD强调,64GB仅为推荐配置,而非硬性要求。

支持的设备包括搭载XDNA 2及以上版本NPU的AMD Ryzen AI 300系列(Strix Point/Kraken Point)、Ryzen AI Max系列(Strix Halo)以及Ryzen AI 400系列(Gorgon Point)。操作系统方面支持Windows 11和Linux x64。在Linux环境下,需使用内核7.0及以上版本的amdxdna驱动程序,旧版内核则使用amdxdna-dkms,同时需要最新的NPU固件和无限制的memlock设置。

NPU模型采用针对FastFlowLM优化的4位Q4NX格式。由于标准的GGUF模型无法直接在NPU上运行,用户必须将支持的模型转换为Q4NX格式才能使用。

性能数据与功耗主张

Unsloth文档显示,Qwen3.6-35B-A3B-NPU2模型的体积为20.6GB,建议系统RAM为64GB。而AMD指出,运行完整上下文需要约28GB的NPU内存。这两个数据分别代表模型存储大小和运行时内存需求。

相关测试数据显示,处理速度为每秒17.2个令牌(tokens),首令牌延迟时间为3.13秒。由于未详细披露测试环境,仅凭这些数据难以直接与其他模型或GPU进行性能对比。

Unsloth声称,NPU在生成每个令牌时的能耗比传统GPU低2至4倍。但这仅是开发方的主张,尚未经过独立的基准测试验证。

AMD解释称,XDNA采用空间数据流NPU架构,利用AI引擎图块和片上内存来减少缓存访问。NPU并非旨在取代GPU,而是作为辅助计算设备承担本地推理任务,从而让CPU和GPU能够专注于其他工作。

实际体验到的性能和能效可能会因模型格式、内存容量、上下文长度及电源模式的不同而变化。是否进行Q4NX转换以及大型模型的内存带宽也会影响运行条件。

合作范围与业界反响

部分Reddit用户对此次发布的能效和支持设备表示积极评价。然而,也有用户提出了关于集成GPU的速度对比、XDNA 1的支持情况以及大模型内存带宽瓶颈等问题。

有用户分享了在同一系统中比较NPU与集成GPU令牌处理速度的案例,但承认这是一次“非常粗略的比较”。此类非官方数据应与官方性能指标区分看待。

此次发布是此前合作的延续。今年7月,Unsloth曾宣布支持AMD Radeon、Instinct和Ryzen GPU进行模型训练与推理。在国内,科技信息通信部与AMD也曾讨论过将CPU、GPU与国产NPU相结合的AI计算基础设施方案。

Phoronix报道称,经向AMD核实,该功能不仅在Windows上可用,在Linux构建版本中也同样有效。目前官方支持的范围仅限于XDNA 2及以上版本,关于XDNA 1的支持情况及时间表尚未确认。