8月11日,昆仑万维SkyWork AI技术发布周正式启动。8月11日至8月15日,我们每天发布一款新模型,连续五天,覆盖多模态AI核心场景的前沿模型。截至目前,我们已经发布SkyReels-A3、Matrix-Game 2.0、Matrix-3D模型。
8月13日,昆仑万维正式开源「Skywork UniPic 2.0」模型——面向统一多模态建模的高效训练和推理框架,围绕生成和编辑模块轻量化、连接多模态理解模型进行联合训练,构建了理解、生图、编辑一体化的核心能力,旨在实现“高效、高质、统一”的多模态生成模型。
当前,「Skywork UniPic 2.0」及其系列模型已全面开源,涵盖模型权重、推理代码、强化策略等,助力开发者与研究者快速上手并构建多模态应用。
技术报告:
GitHub地址:
https://github.com/SkyworkAI/UniPic/tree/main/UniPic-2
HuggingFace Gradio:
https://huggingface.co/spaces/Skywork/UniPic2-Metaquery
「Skywork UniPic 2.0」由三个核心模块组成:
统一模型能力(下图左侧与中间):通过冻结生图编辑模块,多模态模型(Qwen2.5-VL-7B),Pre-Train连接器来构建出理解生成编辑一体化能力,再通过连接器和生图编辑模块一起联合微调,实现最终的一体化理解、生图、编辑模型。
生图编辑后训练(下图右):为提升生图编辑整体性能,设计了基于Flow-GRPO的渐进式双任务强化策略,实现了生成与编辑任务在不互相干扰下的协同优化,在预训练的基础上进一步提升了模型性能。
原创文章,作者:feiniu,如若转载,请注明出处:https://www.lrblog.cn/351.html