5月13日,昆仑万维正式开源(17B+)Matrix-Game大模型,即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地,也是工业界首个开源的10B+空间智能大模型,它是一个面向游戏世界建模的交互式世界基础模型,专为开放式环境中的高质量生成与精确控制而设计。,时长00:09
项目主页:
技术报告:
GitHub开源地址:
HuggingFace开源地址:
空间智能作为AI时代的重要前沿技术,正在重塑我们与虚拟世界的交互方式。通过融合视频生成、三维建模与交互控制等核心技术,空间智能不仅支持更加自然、直观、沉浸的体验,也在具身智能、影视制作、游戏开发等领域展现出巨大潜力。
昆仑万维长期关注空间智能的新进展,经过不懈的技术研发,今天正式开源Matrix-Game,不仅刷新了交互式世界生成的技术上限,也为构建通用虚拟世界基座树立了全新标杆。
Matrix-Game聚焦于视频生成与用户交互的深度融合,让用户可以通过简单直观的指令,自由探索、操控、甚至创造出细节丰富、物理规则合理的虚拟世界。
Matrix-Game由以下三大核心部分构成:
- Matrix-Game-MC数据集:自主构建的大规模交互世界数据集,包含两类数据:一是大规模无标签的Minecraft游戏视频,二是带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据,具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。
- Matrix-Game主模型:基于先进扩散模型技术开发的图像到世界生成框架,能够根据用户输入(键盘指令、鼠标移动等)生成连贯、可控的互动视频,兼顾视觉质量、时序一致性与物理合理性。
- GameWorld Score评测体系:提出统一的游戏交互世界评估标准,从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度,全面量化模型性能,填补了该领域缺乏系统性评测基准的空白。
通过两阶段训练策略(无标签数据预训练 + 标注数据可控训练),参数规模达 17B 的 Matrix-Game 世界基座模型在空间理解、用户指令响应以及物理交互建模等方面取得了显著提升。具备以下模型优势:
细粒度用户交互控制:支持前进、跳跃、攻击、视角移动等细节操作,根据用户输入响应,操作体验准确自然。
高保真视觉与物理一致性:生成结果在保持视觉连贯的同时,遵循自然物理规律,如重力、碰撞等,显著提升沉浸感。
多场景泛化能力:具备对多种 Minecraft 游戏场景的泛化能力,涵盖不同地形、天气和生物群系,并具备向非 Minecraft 游戏环境泛化的潜力。
系统化评估体系:提出统一的 GameWorld Score 标准,为交互世界模型的客观评估与持续优化提供有力支撑。
与知名创业公司 Decart 开源方案 Oasis 和微软开源模型 MineWorld 对比,Matrix-Game 在 Minecraft 世界生成任务的各项指标上实现了全面超越,尤其在交互可控性和物理一致性理解方面表现尤为出色。此外,得益于 Unreal 数据的融入,Matrix-Game 在泛化到更广泛的通用游戏场景方面展现出明显优势。