Day3/5:「Skywork UniPic 2.0」开源,统一多模态模型再迎新突破

8月11日,昆仑万维SkyWork AI技术发布周正式启动。8月11日至8月15日,我们每天发布一款新模型,连续五天,覆盖多模态AI核心场景的前沿模型。截至目前,我们已经发布SkyReels-A3、Matrix-Game 2.0、Matrix-3D模型。

8月13日,昆仑万维正式开源「Skywork UniPic 2.0」模型——面向统一多模态建模的高效训练和推理框架,围绕生成和编辑模块轻量化、连接多模态理解模型进行联合训练,构建了理解、生图、编辑一体化的核心能力,旨在实现“高效、高质、统一”的多模态生成模型。

当前,「Skywork UniPic 2.0」及其系列模型已全面开源,涵盖模型权重、推理代码、强化策略等,助力开发者与研究者快速上手并构建多模态应用。

项目地址
项目主页:

https://unipic-v2.github.io/

 

技术报告:

https://github.com/SkyworkAI/UniPic/blob/main/UniPic-2/assets/pdf/UNIPIC2.pdf

 

GitHub地址:

https://github.com/SkyworkAI/UniPic/tree/main/UniPic-2

 

HuggingFace Gradio:

https://huggingface.co/spaces/Skywork/UniPic2-Metaquery

HuggingFace Model: 

https://huggingface.co/Skywork/UniPic2-SD3.5M-Kontext-2Bhttps://huggingface.co/Skywork/UniPic2-Metaquery-9B

「Skywork UniPic 2.0」由三个核心模块组成:

生图编辑(下图中):基于 SD3.5-Medium 架构将原本只支持文本输入的模型改进成也接受文本图像同时输入,然后通过高质量图像生成和编辑数据的训练将原本生图能力扩展成生图、编辑双能力。

统一模型能力(下图左侧与中间):通过冻结生图编辑模块,多模态模型(Qwen2.5-VL-7B),Pre-Train连接器来构建出理解生成编辑一体化能力,再通过连接器和生图编辑模块一起联合微调,实现最终的一体化理解、生图、编辑模型。

生图编辑后训练(下图右):为提升生图编辑整体性能,设计了基于Flow-GRPO的渐进式双任务强化策略,实现了生成与编辑任务在不互相干扰下的协同优化,在预训练的基础上进一步提升了模型性能。

原创文章,作者:feiniu,如若转载,请注明出处:https://www.lrblog.cn/351.html

(0)
上一篇 2025年8月13日 上午9:03
下一篇 2025年8月14日 上午9:39

相关推荐