3月18日，昆侖萬維正式開源首款工業(yè)界多模態(tài)思維鏈推理模型Skywork-R1V，開啟多模態(tài)思考新時代。繼Skywork-R1V首次成功實現(xiàn)“強(qiáng)文本推理能力向視覺模態(tài)的遷移”之后，昆侖萬維再度發(fā)力，今天正式開源多模態(tài)推理模型的全新升級版本——Skywork-R1V 2.0(以下簡稱R1V 2.0) 。

01

R1V 2.0 性能全面提升并開源，視覺與文本推理能力雙管齊下

Skywork-R1V 2.0是當(dāng)前最均衡兼顧視覺與文本推理能力的開源多模態(tài)模型，該多模態(tài)模型在高考理科難題的深度推理與通用任務(wù)場景中均表現(xiàn)優(yōu)異，真正實現(xiàn)了多模態(tài)大模型的“深度+廣度”的統(tǒng)一。升級后的R1V 2.0模型頗具亮點：

——中文場景領(lǐng)跑：理科學(xué)科題目(數(shù)學(xué)/物理/化學(xué))推理效果拔群，打造免費(fèi)AI解題助手;

——開源巔峰：38B權(quán)重+技術(shù)報告全面開源，推動多模態(tài)生態(tài)建設(shè);

——技術(shù)創(chuàng)新標(biāo)桿：多模態(tài)獎勵模型(SkyworkVL Reward)與混合偏好優(yōu)化機(jī)制(MPO)，全面提升模型泛化能力;選擇性樣本緩沖區(qū)機(jī)制(SSB)，突破強(qiáng)化學(xué)習(xí)“優(yōu)勢消失”瓶頸。

在多個權(quán)威基準(zhǔn)測試中，R1V2.0相較于R1V 1.0在文本與視覺推理任務(wù)中均實現(xiàn)顯著躍升。無論是專業(yè)領(lǐng)域任務(wù)，如數(shù)學(xué)推理、編程競賽、科學(xué)分析，還是通用任務(wù)，如創(chuàng)意寫作與開放式問答，R1V 2.0都呈現(xiàn)出極具競爭力的表現(xiàn)：

——在MMMU上取得73.6分，刷新開源SOTA紀(jì)錄;

——在Olympiad Bench上達(dá)到62.6分，顯著領(lǐng)先其他開源模型;

——在MathVision、MMMU-PRO與MathVista等多項視覺推理榜單中均表現(xiàn)優(yōu)異，多項能力已可媲美閉源商業(yè)模型，堪稱當(dāng)前開源多模態(tài)推理模型中的佼佼者。

在與開源多模態(tài)模型的對比中，R1V 2.0的視覺推理能力(在眾多開源模型里)脫穎而出。

如下圖所示，R1V2.0 也展現(xiàn)出媲美商業(yè)閉源多模態(tài)模型的實力。

而在文本推理方面，在AIME2024和LiveCodeBench等挑戰(zhàn)中，R1V 2.0 分別取得了78.9分和63.6分，展現(xiàn)出了人類專家級的數(shù)學(xué)與代碼理解能力。在與專用文本推理模型對比中，R1V2.0同樣展現(xiàn)出卓越的文本推理能力。

02

技術(shù)亮點一：推出多模態(tài)獎勵模型Skywork-VL Reward，全面開源

自R1V 1.0開源以來，昆侖萬維團(tuán)隊收獲了來自全球開發(fā)者與研究者的廣泛反饋。在模型推理能力顯著提升的同時，團(tuán)隊也發(fā)現(xiàn)，過度集中于推理任務(wù)的訓(xùn)練，會限制模型在其他常規(guī)任務(wù)場景下的表現(xiàn)，影響整體的泛化能力與通用表現(xiàn)。

為實現(xiàn)多模態(tài)大模型在“深度推理”與“通用能力”之間的最佳平衡，R1V 2.0引入了全新的“多模態(tài)獎勵模型 Skywork-VL Reward”及“規(guī)則驅(qū)動的混合強(qiáng)化訓(xùn)練機(jī)制”。在顯著增強(qiáng)推理能力的同時，進(jìn)一步穩(wěn)固了模型在多任務(wù)、多模態(tài)場景中的穩(wěn)定表現(xiàn)與泛化能力。

Skywork-VL Reward，開啟多模態(tài)強(qiáng)化獎勵模型新篇章：

當(dāng)前，行業(yè)中多模態(tài)獎勵模型的缺乏，已成為強(qiáng)化學(xué)習(xí)在VLM(Vision-Language Models)領(lǐng)域進(jìn)一步發(fā)展的關(guān)鍵瓶頸。

現(xiàn)有獎勵模型難以準(zhǔn)確評價跨模態(tài)推理所需的復(fù)雜理解與生成過程。為此，昆侖萬維推出了SkyworkVL Reward模型，既可為通用視覺語言模型(VLM)提供高質(zhì)量獎勵信號，又能精準(zhǔn)評估多模態(tài)推理模型長序列輸出的整體質(zhì)量，同時也可以作為并行線上推理最優(yōu)答案選擇的利器。

這種能力使得Skywork-VL Reward模型在多模態(tài)強(qiáng)化學(xué)習(xí)任務(wù)中具有廣泛的適用性，促進(jìn)了多模態(tài)模型的協(xié)同發(fā)展：

——跨模態(tài)引領(lǐng)者：率先提出多模態(tài)推理與通用獎勵模型，推動多模態(tài)強(qiáng)化學(xué)習(xí);

——榜單標(biāo)桿：在視覺獎勵模型評測中名列第一，7B權(quán)重與技術(shù)報告全面開源;

——信號全覆蓋：支持從短文本到長序列推理的多元化獎勵判別。

Skywork-VL Reward在多個權(quán)威評測榜單中表現(xiàn)優(yōu)異：在視覺獎勵模型評測榜單VL-RewardBench中取得了73.1的SOTA成績，同時在純文本獎勵模型評測榜單RewardBench中也斬獲了高達(dá)90.1的優(yōu)異分?jǐn)?shù)，全面展示了其在多模態(tài)和文本任務(wù)中的強(qiáng)大泛化能力。

為回饋社區(qū)和行業(yè)，團(tuán)隊也將Skywork-VL Reward完整開源。

03

技術(shù)亮點二：引入多重優(yōu)化策略提升核心效果

長期以來，大模型訓(xùn)練面臨“深度推理提升”與“通用能力保持”的難以兼得難題。為解決這一“推理-通用”的能力蹺蹺板問題，以及解決通用問題沒有直接可驗證的答案的挑戰(zhàn)，R1V 2.0引入了MPO(Mixed Preference Optimization，混合偏好優(yōu)化)機(jī)制，并在偏好訓(xùn)練中充分發(fā)揮Skywork-VL Reward獎勵模型的指導(dǎo)作用。

和R1V 1.0思路類似，我們使用提前訓(xùn)練好的MLP適配器，直接將視覺編碼器internVIT-6B與原始的強(qiáng)推理語言模型QwQ-32B連接，形成R1V 2.0-38B的初始權(quán)重。這樣一來，R1V 2.0在啟動時即具備一定的多模態(tài)推理能力。

在通用任務(wù)訓(xùn)練階段，R1V 2.0借助Skywork-VL Reward提供的偏好信號，引導(dǎo)模型進(jìn)行偏好一致性優(yōu)化，從而確保模型在多任務(wù)、多領(lǐng)域下具備良好的通用適應(yīng)能力。實驗證明，Skywork-VL Reward有效實現(xiàn)了推理能力與通用能力的協(xié)同提升，成功實現(xiàn)“魚與熊掌兼得”。

在訓(xùn)練深度推理能力時，R1V 2.0在訓(xùn)練中采用了基于規(guī)則的群體相對策略優(yōu)化GRPO(Group Relative Policy Optimization)方法。該策略通過同組候選響應(yīng)之間的相對獎勵比較，引導(dǎo)模型學(xué)會更精準(zhǔn)的選擇和推理路徑。

R1V 2.0所采用的多模態(tài)強(qiáng)化訓(xùn)練方案，標(biāo)志著大模型訓(xùn)練范式的又一次重要革新，也再次驗證了強(qiáng)化學(xué)習(xí)在人工智能領(lǐng)域無法撼動的地位。通過引入通用性更強(qiáng)的獎勵模型Skywork-VL Reward，以及高效穩(wěn)定的樣本利用機(jī)制SSB，我們不僅進(jìn)一步提升了R1V系列模型在復(fù)雜任務(wù)中的推理能力，同時也將開源模型跨模態(tài)推理泛化能力提升到了全新高度。

R1V 2.0的誕生，不僅推動了開源多模態(tài)大模型在能力邊界上的突破，更為多模態(tài)智能體的搭建提供了新的基座模型。

04

面向AGI的持續(xù)開源

最近一年以來，昆侖萬維已陸續(xù)開源多款核心模型：

開源系列：

1. Skywork-R1V 系列：38B視覺思維鏈推理模型，開啟多模態(tài)思考時代;

2. Skywork-OR1(Open Reasoner 1)系列：中文邏輯推理大模型，7B和32B最強(qiáng)數(shù)學(xué)代碼推理模型;

3. SkyReels系列：面向AI短劇創(chuàng)作的視頻生成模型;

4. Skywork-Reward：性能卓越的全新獎勵模型。

這些項目在Hugging Face上廣受歡迎，引發(fā)了開發(fā)者社區(qū)的廣泛關(guān)注與深入討論。

我們堅信，開源驅(qū)動創(chuàng)新，AGI 終將到來。

正如DeepSeek等優(yōu)秀團(tuán)隊所展現(xiàn)的那樣，開源模型正逐步彌合與閉源系統(tǒng)的技術(shù)差距，乃至實現(xiàn)超越。R1V 2.0不僅是當(dāng)前最好的開源多模態(tài)推理模型，也是我們邁向AGI路上的又一重要里程碑。昆侖萬維將繼續(xù)秉持“開源、開放、共創(chuàng)”的理念，持續(xù)推出領(lǐng)先的大模型與數(shù)據(jù)集，賦能開發(fā)者、推動行業(yè)協(xié)同創(chuàng)新，加速通用人工智能(AGI)的實現(xiàn)進(jìn)程。

龔斯軒