亚洲财经

☰ 搜索

512×512 77.8毫秒…生成速度比Janus Pro-7B快122.2倍

新加坡国立大学发布Jeveration论文:实现毫秒级多模态图像生成

新加坡国立大学(National University of Singapore)研究团队于韩国时间19日公开了题为“Jeveration”的研究论文。该论文报告称,其模型在512×512分辨率下的图像生成时间仅为77.8毫秒。

技术架构与核心创新

研究团队采用了一种创新的混合架构,将冻结的Qwen3.5-4B视觉语言模型与共享的LoRA适配器及任务特定的输出头相结合。该结构能够在单个检查点中统一处理文本到图像、图像到图像、以及分割、深度和表面法线预测等多种任务。

Jeveration的核心设计理念是将图像视为由128个离散代码组成的联合决策过程。通过在所有位置引入相同的随机状态作为条件,该模型旨在并行预测过程中保持整张图像的一致性。这一方法试图打破传统自我回归模型的顺序令牌生成模式以及扩散模型的迭代去噪流程,通过单次前向传播大幅缩短生成路径。

性能基准测试与分析

速度对比数据基于单张NVIDIA H200 GPU,在批次大小为1且包含解码过程的条件下进行5次测量的中位数结果:

  • Jeveration:生成512px图像耗时77.8ms,GenEval得分为0.74。
  • Janus-Pro-7B:在384px分辨率下以自回归方式生成3840个令牌,耗时9508.4ms。尽管论文表格显示其与Jeveration的延迟差异倍数为122.2倍,但由于分辨率和生成阶段不同,该倍数不能直接推广为所有图像模型的通用加速比。
  • Show-o Turbo-512:在相同512px分辨率下,Jeveration的77.8ms低于Show-o Turbo-512的94.1ms,且GenEval得分更高(0.74 vs 0.63)。但需注意,Jeveration为单次生成,而Show-o Turbo-512为4步生成条件。

在长提示词响应能力方面(DPG评分),Jeveration得分为78.24,略低于Show-o Turbo-512的83.35。此外,在GenEval指标上,Jeveration的0.74也低于Janus-Pro-7B的0.80。这些数据表明,速度优势并不意味着在所有质量指标上都占据主导地位。

多任务推理与精度表现

在图像到图像的推理测试中,单次运行耗时91.7ms。在HED边缘检测、深度估计和着色评估中,分别基于341个独立验证样本取得了0.880、0.802和0.937的分数。风格转换的PSNR值为15.40(基于223个验证对)。

在NYUv2密集预测任务中,Jeveration的表现如下:

  • 分割mIoU:67.7
  • 深度绝对误差:0.267米
  • δ1准确率:0.898
  • 表面法线平均误差:24.2度

值得注意的是,表面法线误差(24.2度)大于单一任务模型的21.2度。论文指出,这可能是由于整合多项任务导致精细的局部几何信息受到了一定影响。

训练细节与资源消耗

模型训练使用了秩为256的LoRA技术。整个流程分为两个阶段:第一阶段约9.2万次迭代,第二阶段约6700次迭代。使用4块RTX PRO 6000 GPU,总训练时间约为4天。

训练数据集涵盖了FLUX-Reason-6M图像、Qwen-Image渲染数据、text-to-image-2M提示词以及NYUv2数据集。

开源协议与社区反馈

官方GitHub仓库已公开推理代码,并在Hugging Face提供了约6.5GB的权重下载链接。Jeveration的代码及权重均采用Apache-2.0许可证发布。运行时需单独下载Qwen3.5-4B、TA-TiTok和CLIP文本塔等组件,第三方组件遵循各自的许可证规定。

Hugging Face Papers页面将Jeveration选为“每日论文”。Reddit r/StableDiffusion社区的讨论呈现出两极分化的观点:一方面,用户对其“一模型通吃生成、编辑和密集预测”的结构及速度表示赞赏;另一方面,也有声音指出了输出扭曲和低画质问题。这些评论仅代表个人体验,并非官方性能验证。

Hugging Face工程师Linoy Tsaban在公开帖子中也评价道,Jeveration的速度极快,但其画质距离当前最高水平仍有差距。

与其他技术的对比说明

此前媒体曾报道NVIDIA优化后的FLUX 3图像编辑技术,其在单张B200 GPU上将2048×2048分辨率的编辑时间从54.64秒缩短至12.28秒。鉴于GPU型号、分辨率及具体任务(生成vs编辑)的差异,上述数值与Jeveration在H200上实现的512×512图像生成77.8ms无法直接比较。

目前,Jeveration论文已在arXiv预印本平台公开,尚未有作者以外的独立复现结果。论文及官方存储库均未提及代币、区块链网络或虚拟资产业务的相关连接。