昆仑万维近日宣布了一项重大技术突破,正式向公众开源了其自主研发的多模态思维链推理模型Skywork R1V。此举标志着昆仑万维成为中国首个在多模态推理模型领域进行开源的企业,同时开放了模型的权重和技术报告,供业界研究与使用。
Skywork R1V模型的权重可通过Hugging Face和GitHub两大平台下载,分别对应的链接为:https://huggingface.co/Skywork/Skywork-R1V-38B和https://github.com/SkyworkAI/Skywork-R1V。
据了解,Skywork R1V是一款专注于解决复杂视觉任务的推理模型,它通过多步逻辑推理与分析,能够精准解决视觉逻辑推理、视觉数学问题、科学现象分析以及医学影像诊断等多种挑战。在MATH500和AIME两项权威基准测试中,Skywork R1V分别取得了94.0和72.0的高分,展现出强大的逻辑推理与数学分析能力。
在视觉理解能力方面,Skywork R1V同样表现出色。通过将文本推理与思维链推导能力迁移到视觉任务中,该模型在MMMU和MathVista两项视觉推理基准测试中分别获得了69和67.5分的优异成绩。这些成就不仅证明了Skywork R1V在跨模态任务中的高效融合能力,也彰显了其在复杂多模态任务中的卓越表现。
昆仑万维团队在Skywork R1V模型中引入了三项关键技术创新。首先,他们首次提出了利用Skywork-VL的视觉投影器,实现了文本推理能力向视觉任务的高效迁移,同时保留了模型原本的优秀文本推理能力。这一创新无需重新训练语言模型和视觉编码器,大大提升了迁移效率和效果。
其次,团队采用了多模态混合式训练策略(Iterative SFT+GRPO),通过结合迭代监督微调与GRPO强化学习,分阶段对齐视觉-文本表征,实现了跨模态任务的高效融合。这一策略不仅提升了模型在MMMU和MathVista等基准测试中的表现,还与更大规模的闭源模型基本持平。通过反复迭代地利用高质量数据与高难度数据的组合,模型的知识巩固与错误纠正能力得到了显著提升。
最后,团队还提出了一种基于视觉-文本复杂度的自适应推理链长度控制机制。这一机制能够动态优化模型的推理过程,避免“过度思考”,从而提升推理效率。结合多阶段自蒸馏策略,进一步提升了数据生成与推理过程的质量,促进了模型在复杂多模态任务中的表现。