拐點(diǎn)未現(xiàn)，應(yīng)用仍在路上。

整理｜田思奇

編輯｜栗子

在人工智能進(jìn)入高速迭代的第三年，行業(yè)的注意力已從單一模型的參數(shù)和能力，轉(zhuǎn)向能否真正落地。Agent的落地拐點(diǎn)、多模態(tài)的應(yīng)用前景，和系統(tǒng)架構(gòu)的擴(kuò)展性，成為這一波技術(shù)討論的三條主線。

8月19日，在昆侖萬維發(fā)起的第一期Skywork全球技術(shù)論壇討論會(huì)中，來自南洋理工大學(xué)、清華大學(xué)、上海交通大學(xué)、香港中文大學(xué)等高校，以及蘋果、谷歌、Meta、微軟、英偉達(dá)、硅基流動(dòng)等公司的十余位國內(nèi)外嘉賓，圍繞主題「探索大模型邊界:從強(qiáng)化學(xué)習(xí)到多模態(tài)推理，以及Agent的下一站」，展開長達(dá)數(shù)小時(shí)的深入交流。

ROI是否足以支撐Agent商業(yè)化，長上下文如何在延遲與成本間取得平衡，多模態(tài)的研究路徑是否已觸及天花板？對(duì)于這些核心問題，與會(huì)者提出了許多坦率的判斷。

行業(yè)當(dāng)下的真實(shí)處境依然是：熱度仍在，但“如何被真正用起來”才是關(guān)鍵。

以下為本次技術(shù)討論會(huì)的核心觀點(diǎn)，經(jīng)過編輯整理：

1.短期內(nèi)，C端Agent更可能選擇出海

Agent 商業(yè)化拐點(diǎn)是否已經(jīng)到來？

Agent在2025年被推到熱潮中心，被寄望成為下一代人機(jī)交互的入口。但現(xiàn)實(shí)依然是：看收入就行。Coding已經(jīng)出現(xiàn)了拐點(diǎn)，而Agent還沒有。技術(shù)熱度尚未在商業(yè)層面兌現(xiàn)。

尤其在中國市場，長期被免費(fèi)教育的用戶對(duì)訂閱付費(fèi)意愿極低，這讓Agent的商業(yè)轉(zhuǎn)化更加艱難。

為了衡量這種矛盾，有人提出了“Agentic ROI”的概念——便利與交互成本的比值。只有當(dāng)這個(gè)比例足夠高，用戶才會(huì)愿意付費(fèi)。但在國內(nèi)，大廠幾乎免費(fèi)的競品讓ROI接近為零，進(jìn)一步壓低了商業(yè)轉(zhuǎn)化。短期內(nèi)，C端Agent更可能選擇出海，到訂閱習(xí)慣更成熟的市場尋找機(jī)會(huì)。

但放眼未來一兩年，國內(nèi)隨著成本下降、應(yīng)用數(shù)量增加，ROI有望逐步提高，商業(yè)化拐點(diǎn)也才可能真正到來。

2.如果環(huán)境單一，Agent的能力很快觸頂

Agent的壁壘在哪里？

在競爭激烈的市場環(huán)境里，通用Agent難以形成優(yōu)勢(shì)，真正能走深的是行業(yè)知識(shí)和垂直場景。當(dāng)前，編程與數(shù)學(xué)是 token消耗最大的應(yīng)用方向，因?yàn)閿?shù)據(jù)充足、模式清晰，容易形成可復(fù)制的能力。但在其他領(lǐng)域，數(shù)據(jù)不足讓產(chǎn)品很難走向深入。對(duì)于中國團(tuán)隊(duì)而言，只有找到明確的垂直場景，才能在出海市場站穩(wěn)。

同時(shí)，過去推動(dòng)模型進(jìn)步的方式是“堆數(shù)據(jù)”和加長序列，在純文本時(shí)代行之有效。但進(jìn)入Agent階段后，這種規(guī)模擴(kuò)展已不夠。環(huán)境復(fù)雜度才是關(guān)鍵：如果環(huán)境單一，Agent的能力很快觸頂。研究者普遍關(guān)注的，是如何創(chuàng)造并搭建多樣化的環(huán)境，讓模型能在更復(fù)雜的情境中學(xué)習(xí)與交互，否則再強(qiáng)的算力也無法支撐能力提升。

3.任務(wù)與獎(jiǎng)勵(lì)的設(shè)計(jì)決定了Agent能否學(xué)到有效策略

多輪訓(xùn)練需要什么樣的任務(wù)與獎(jiǎng)勵(lì)？RL是否能建立通用標(biāo)準(zhǔn)？

Agent訓(xùn)練的難點(diǎn)往往在于任務(wù)本身沒有定義好。多輪訓(xùn)練需要難度遞進(jìn)的任務(wù)，同時(shí)需要低噪聲的獎(jiǎng)勵(lì)，否則模型難以學(xué)到可復(fù)制的策略。動(dòng)作空間的設(shè)計(jì)同樣關(guān)鍵：自由度越高，潛力越大，但訓(xùn)練難度也會(huì)急劇增加。

業(yè)界正在探索異步采樣的訓(xùn)練架構(gòu)，以并行方式加快進(jìn)程，但也帶來了算法一致性的新問題。隨著訓(xùn)練輪數(shù)增加，上下文管理也逐漸成為瓶頸。而更根本的困境在于，語言模型之所以成功，是因?yàn)檎业搅丝蓴U(kuò)展的訓(xùn)練機(jī)制；而在強(qiáng)化學(xué)習(xí)中，尚沒有類似的“通用獎(jiǎng)勵(lì)標(biāo)準(zhǔn)”。在多智能體和復(fù)雜場景下，什么才算“做得好”，至今沒有統(tǒng)一答案。缺乏穩(wěn)定反饋，就無法形成可復(fù)制的能力。

4.多模態(tài)強(qiáng)化學(xué)習(xí)的生態(tài)突破

多模態(tài)如何增強(qiáng)Agent訓(xùn)練？獎(jiǎng)勵(lì)機(jī)制如何遷移到生成任務(wù)？

多模態(tài)被認(rèn)為是潛在的突破口，但現(xiàn)有模型并不適合作為Agent前端，在復(fù)雜界面下的理解力不足。如果在預(yù)訓(xùn)練階段引入Agent場景，或采用更激進(jìn)的混合訓(xùn)練方式，有可能培養(yǎng)更強(qiáng)的長程理解力。但前提是Agent必須具備反思和回退的能力，否則隨著工具數(shù)量增加，錯(cuò)誤率會(huì)被放大。

生態(tài)短板也不容忽視。目前缺乏開源的原生多模態(tài)模型，大公司雖然掌握了強(qiáng)大的視頻和多模態(tài)能力，但并不開放，這讓社區(qū)幾乎沒有機(jī)會(huì)在多模態(tài)模型上做后訓(xùn)練，只能依賴有限的閉源接口。這是一個(gè)硬傷。

另一方面，對(duì)“環(huán)境”的重新理解也在發(fā)生。傳統(tǒng)RL依賴成百上千個(gè)環(huán)境保證泛化，而在大模型時(shí)代，文本框本身就是一個(gè)環(huán)境，疊加指令即可形成多任務(wù)，關(guān)鍵不在于環(huán)境數(shù)量，而在于數(shù)據(jù)質(zhì)量。

與此同時(shí)，研究者正嘗試通過獎(jiǎng)勵(lì)機(jī)制來衡量視頻與圖像的生成效果，把人類偏好直接引入訓(xùn)練。GRPO雖在推理上很有效，但生成任務(wù)主流方法是基于流匹配的確定性采樣，缺乏隨機(jī)性，難以直接遷移。后來出現(xiàn)的Flow-GRPO等改進(jìn)，把獎(jiǎng)勵(lì)信號(hào)與訓(xùn)練方式統(tǒng)一起來，改善了生成任務(wù)中的動(dòng)作連貫性和一致性。這種方法足夠簡單，可以擴(kuò)展到視頻等更多生成任務(wù)，讓過去“不收斂”的探索出現(xiàn)了可操作路徑。

5.娛樂場景或許更先爆發(fā)

為什么要默認(rèn)Agent的突破口一定是生產(chǎn)力？

判斷拐點(diǎn)的方式未必只有收入曲線，使用情況同樣能說明問題。如果用戶一輪又一輪追問，而模型能夠不斷生成越來越多的內(nèi)容，這意味著系統(tǒng)已經(jīng)進(jìn)入正向循環(huán)。

有觀點(diǎn)認(rèn)為：“比如讓我每月花二十塊訂個(gè)Agent，我會(huì)猶豫。但讓我買個(gè)玩具、看看視頻，我花錢更開心?！?從用戶消費(fèi)心理來看，娛樂反而更可能率先迎來爆發(fā)。虛擬伴侶、游戲NPC、視頻創(chuàng)作助手等場景在海外已經(jīng)跑出用戶基礎(chǔ)，未來或許比效率工具更早打開市場。

長遠(yuǎn)來看，Agent的能力增長可能依賴于一種“雙輪過程”：基礎(chǔ)模型先預(yù)訓(xùn)練，再讓Agent在具體任務(wù)里積累經(jīng)驗(yàn)數(shù)據(jù)，這些數(shù)據(jù)反過來提升模型，再進(jìn)入更復(fù)雜的新任務(wù)，如此往復(fù)。用戶一旦感受到Agent能力增強(qiáng)，就會(huì)提出更難的任務(wù)，這時(shí)必須依靠Agent framework去擴(kuò)展范圍，再把經(jīng)驗(yàn)積累回饋給模型。

這種循環(huán)一旦建立，能力會(huì)快速迭代。未來一年內(nèi)可能出現(xiàn)首批Agent基礎(chǔ)模型，初期可能很小，但會(huì)在端側(cè)設(shè)備和專業(yè)任務(wù)場景率先落地。長遠(yuǎn)來看，未來千億級(jí)別模型的訓(xùn)練數(shù)據(jù)，很可能大部分都來自Agent自身的經(jīng)驗(yàn)。

當(dāng)前的使用數(shù)據(jù)揭示了另一種信號(hào)：在OpenRouter的統(tǒng)計(jì)中，Coding調(diào)用token占比高達(dá)87%，Roleplay占8%。只有當(dāng)這種使用高度集中的情況逐漸變得均勻，Agent才算真正進(jìn)入各行各業(yè)，那才是真正的拐點(diǎn)。

6.多模態(tài)正在拓展自然交互方式，任務(wù)設(shè)計(jì)成關(guān)鍵變量

如何找到合適的規(guī)模化任務(wù)？

最近多模態(tài)方向的開源工作包括Skywork出品的R1V多模態(tài)推理系列，以及有“開源Genie3”之稱的Matrix-Game 2.0系列，但是范式的可持續(xù)性已經(jīng)顯露出問題。強(qiáng)化學(xué)習(xí)與擴(kuò)大規(guī)模仍能奏效，但前提是不斷找到新的任務(wù)與數(shù)據(jù)。

現(xiàn)實(shí)困境在于：合適的任務(wù)越來越稀缺。機(jī)器人也被視為潛在方向，卻因環(huán)境規(guī)?；y度過高而受阻。即便是OpenAI也并沒有把重心放在機(jī)器人或復(fù)雜場景，而是選擇繼續(xù)打磨策略與模型本身。在現(xiàn)有的商業(yè)框架下，多模態(tài)理解、生成與對(duì)話系統(tǒng)仍然可以運(yùn)作，但長期來看，這條路能走多遠(yuǎn)，仍是一道開放問題。

應(yīng)用層面，多模態(tài)輸入能讓交互更自然。用戶拍一張照片就能生成PPT，用圖像替代復(fù)雜的文字描述——這些都是比鍵盤更高效的表達(dá)方式。他發(fā)現(xiàn)國內(nèi)一些金融公司在應(yīng)用的落地速度上甚至領(lǐng)先美國，說明多模態(tài)并非虛無縹緲，而是正在改變辦公和業(yè)務(wù)流程。

但也有觀點(diǎn)認(rèn)為，端側(cè)模型確實(shí)能讓日常操作快上幾秒鐘，但差異遠(yuǎn)未達(dá)到革命性。他舉了一個(gè)例子：即便系統(tǒng)能幫用戶自動(dòng)完成外賣下單，從點(diǎn)餐到支付全程無縫銜接，但和用戶自己點(diǎn)單相比，本質(zhì)差別并不大。真正的突破必須在交互體驗(yàn)中產(chǎn)生質(zhì)變，而不是僅僅“更快”。

3D和AR/VR領(lǐng)域的瓶頸在于用戶規(guī)模，連微軟的專業(yè)設(shè)備都賣不動(dòng)。相比之下，視頻應(yīng)用更接近大規(guī)模落地。這種分化的現(xiàn)狀說明：多模態(tài)的延伸正在遭遇任務(wù)稀缺與應(yīng)用分化的雙重挑戰(zhàn)。

7.世界模型需要找到新的數(shù)據(jù)采集方式

游戲與虛擬世界能否帶來突破？

世界模型是多模態(tài)討論的焦點(diǎn)。Genie3帶來的震撼僅次于Sora，它展示了開放世界的潛力。目標(biāo)是從《我的世界》逐步逼近GTA級(jí)別的復(fù)雜度，核心在于物理一致性，而這正是世界模型的關(guān)鍵。

基于此，新的嘗試正在出現(xiàn)。Matrix-Game2.0被稱為“開源Genie3”，它不僅能生成開放世界，還能支持多人協(xié)作。未來的世界模型不能停留在單人鍵盤操作，而要支持多人協(xié)作：同一虛擬世界里，每個(gè)人共享場景，但從不同視角互動(dòng)。他設(shè)想用戶不僅通過鍵盤控制，還能用即時(shí)輸入修改環(huán)境，比如加入新的元素或特效，再繼續(xù)探索?；谝曨l生成的世界模型與視頻編輯在他看來本就是一體，只是交互方式不同。

然而，進(jìn)展背后也存在清晰的局限。模型的一致性和多樣性雖在快速進(jìn)步，但交互動(dòng)作空間依舊過窄，只能支持簡單動(dòng)作。更關(guān)鍵的是，真實(shí)世界數(shù)據(jù)依然稀缺，反向標(biāo)注視頻誤差大。如果未來能普及長續(xù)航的采集設(shè)備，讓普通人日常攜帶并錄制場景，也許才能提供有價(jià)值的訓(xùn)練數(shù)據(jù)輔助世界模型。

8.生成與理解融合是長期方向，短期內(nèi)拼接更可行

生成是否能反哺理解？統(tǒng)一模型是必然還是工程折中？

生成與理解是否應(yīng)該統(tǒng)一，是多模態(tài)研究中最具爭議的問題?；仡橤PT-4的實(shí)踐可以看出，圖像生成與理解在后訓(xùn)練階段其實(shí)是兩套流程，并非真正統(tǒng)一。雖然在預(yù)訓(xùn)練階段可能存在互相促進(jìn)，但缺乏明確證據(jù)。理解可以幫助生成，但還沒有看到生成顯著幫助理解。

同時(shí)，生成追求極細(xì)節(jié)，理解則是抽象語義，硬統(tǒng)一可能適得其反。多數(shù)公司選擇保留兩套模型，各自最優(yōu)。這類“統(tǒng)一模型”，往往只是工程折中而已。

另一種聲音堅(jiān)持統(tǒng)一的價(jià)值。在實(shí)際服務(wù)中，用戶咨詢足球鞋時(shí)，模型不僅文字解釋，還能自動(dòng)生成圖像，展示鞋釘與場地的對(duì)應(yīng)關(guān)系。這種“理解+生成”的一體化體驗(yàn)，才真正體現(xiàn)了多模態(tài)的意義。

但在工程層面，拼接方案短期更穩(wěn)健。生成需要低層次特征，理解偏高層抽象，兩者難以兼容，訓(xùn)練也更難收斂。相比之下，把理解模型的推理能力注入生成流程，反而能顯著提升質(zhì)量，減少幻覺。因此他判斷，短期和中期拼接方案會(huì)是主流。

一體化模型Skywork UniPic系列作為拼接派代表工作之一，讓“理解—生成—編輯”在統(tǒng)一表示里閉環(huán)；同時(shí)又與獎(jiǎng)勵(lì)模型的耦合，實(shí)現(xiàn)了前沿的生成和理解效果，也兼顧落地穩(wěn)定性。

9.音頻有望成為主流人機(jī)交互入口

語音交互的挑戰(zhàn)是什么？數(shù)據(jù)困境如何突破？

在視覺之外，音頻被普遍認(rèn)為是下一個(gè)潛在突破口。音頻生成正在經(jīng)歷結(jié)構(gòu)性變化：從低采樣語音逐步邁向高保真音樂，從單聲道過渡到沉浸式環(huán)繞聲，再到與視頻模態(tài)的緊密結(jié)合，這些演進(jìn)都意味著新的交互可能性。例如，當(dāng)音頻與視頻一同輸入時(shí)，模型在理解層面的表現(xiàn)往往會(huì)更準(zhǔn)確。

但與視覺相比，音頻領(lǐng)域的問題更加棘手——風(fēng)格和情緒標(biāo)簽的主觀性，使得標(biāo)注難度極高，不同人往往無法達(dá)成一致。這種數(shù)據(jù)困境，讓音頻模態(tài)的潛力顯得既誘人又難以把握。

展望未來，分歧依然存在。有人判斷多模態(tài)將長期賦能智能硬件與機(jī)器人，滲透到更多終端設(shè)備；也有人主張借鑒人腦的模塊化架構(gòu)，讓感知、記憶、推理分區(qū)運(yùn)作，再通過協(xié)調(diào)實(shí)現(xiàn)低功耗與可解釋性；另一條路線則是繼續(xù)追求大一統(tǒng)模型，用跨模態(tài)超大規(guī)模數(shù)據(jù)和新架構(gòu)尋求突破。與此同時(shí)，也有人強(qiáng)調(diào)工程可行性，認(rèn)為拼接與大一統(tǒng)會(huì)長期并行發(fā)展。

在交互層面，語音被寄予厚望。相比文字輸入，語音更自然直觀，也能承載情緒與語氣。用戶之間或者用戶與模型之間，可以僅通過自然語音共建世界模型，邊說邊生成，動(dòng)態(tài)地改造和拓展虛擬世界。這種方式比打字更高效直觀，也更符合人類的交流習(xí)慣。

不過語音交互仍面臨一些挑戰(zhàn)：口頭指令往往含糊，復(fù)雜操作可能需要與文字或圖形界面結(jié)合；而“邊說邊生成”對(duì)模型的實(shí)時(shí)響應(yīng)也提出了算力和延遲方面的更高要求。他相信語音將在未來成為多模態(tài)協(xié)作的重要入口。

10.長上下文是最大的瓶頸，也是最核心的價(jià)值

長上下文如何改變Agent的應(yīng)用場景？

當(dāng)視角轉(zhuǎn)回系統(tǒng)層面，問題就更加直接：長上下文帶來的延遲與顯存壓力。從Linear到Sparse，從MoE到非對(duì)稱稀疏，工程層的博弈決定了這些探索能否真正落地。

隨著模型輸入長度從2023年的8k、32k，擴(kuò)展到2024年GPT-4-turbo的128k、Claude 3的200k，以及Gemini 1.5 Pro的1M token，上下文的急劇增長推高了計(jì)算成本。推理顯存占用不僅線性增加，推理所需計(jì)算量甚至呈超線性上升，一次對(duì)話的成本可能從幾毛錢漲到數(shù)元甚至數(shù)十元。企業(yè)被迫通過縮短輸入或拆分任務(wù)來規(guī)避，但當(dāng)長上下文成為剛需，這種矛盾愈發(fā)尖銳。

長上下文已成為Agent應(yīng)用的最大瓶頸——很多功能要么慢，要么價(jià)格高，根源都在上下文過長。即便做到百萬級(jí)上下文，檢索增強(qiáng)機(jī)制會(huì)長期存在，本質(zhì)上類似人類的長期記憶調(diào)用?！叭说墓ぷ饔洃浐芏蹋芏嘈畔⒍伎块L期記憶檢索，AI也是一樣，即便做到百萬級(jí)上下文，檢索仍然需要，只是更高效。

11.混合注意力架構(gòu)正在成為趨勢(shì)，但算法選擇與工程代價(jià)尚未收斂

Linear與Sparse的分歧能否統(tǒng)一？

在長上下文壓力下，業(yè)界逐漸分化為Linear與Sparse（如DeepSeek團(tuán)隊(duì)提出的NSA）兩大派系。但現(xiàn)實(shí)是，兩者并非非此即彼，而是常常需要混合使用。MiniMax的模型就交錯(cuò)結(jié)合了Linear Attention和Global Attention，甚至可以嘗試把Global部分換成NSA，看是否能互補(bǔ)。然而，這類實(shí)驗(yàn)幾乎沒有團(tuán)隊(duì)真正做過，因?yàn)橘Y源消耗太大。Sparse尚未在大模型中展現(xiàn)出決定性優(yōu)勢(shì)，Linear也存在信息丟失問題，單走一條路現(xiàn)在都不夠好。

具體到方案，Linear Attention的問題在于它對(duì)所有位置一視同仁，和語義層級(jí)特征不符，高層語義理應(yīng)更粗粒度。而NSA至少能做到先粗選再細(xì)推，符合語義處理規(guī)律。但NSA的工程復(fù)雜度很高，目前體驗(yàn)也不理想。另一種方向是Log-Linear狀態(tài)空間，它能讓狀態(tài)隨時(shí)間以對(duì)數(shù)方式擴(kuò)展，更像人腦的記憶曲線：“信息逐漸累積，但不是均勻增加?！蔽磥硪部赡艹霈F(xiàn)更直觀的方案，比如模擬記憶曲線或KV壓縮。

這些探索說明，混合注意力機(jī)制正走向主流，但在算法選擇與工程代價(jià)之間仍未收斂。

12.稀疏化與MoE展現(xiàn)潛力，硬件支持將決定規(guī)模化未來

MoE如何避免顯存失衡？非對(duì)稱稀疏能否更高效？

長上下文引發(fā)的是“記憶”的爭論，而MoE直指“激活”。MoE的細(xì)節(jié)差異常常決定效果。共享專家機(jī)制并非必要，過細(xì)的路由還可能導(dǎo)致GPU顯存分配失衡。一種改進(jìn)思路是讓非關(guān)鍵信息token限制專家路由，把算力集中在關(guān)鍵token上。另一種設(shè)想是“非對(duì)稱稀疏”：不同token激活不同規(guī)模的專家，簡單任務(wù)提前中止，復(fù)雜任務(wù)調(diào)用更多層。這可能更高效，但目前尚無成熟實(shí)踐。

稀疏化的潛在收益很大，但優(yōu)化難度同樣增加。細(xì)粒度稀疏潛力巨大，卻難以工程化；結(jié)構(gòu)化稀疏是當(dāng)前現(xiàn)實(shí)的折中方案。GPU的特性決定了這一限制：人腦是全稀疏的，而GPU并不擅長非結(jié)構(gòu)化稀疏。MoE在宏觀上稀疏、微觀上稠密，恰好契合GPU的block結(jié)構(gòu)，因此能落地。如果未來硬件能更好支持稀疏計(jì)算，微觀稀疏化也許才可能真正規(guī)?；?/span>

這也解釋了為什么大模型發(fā)展不能僅依賴參數(shù)和算法疊加，而需要結(jié)構(gòu)稀疏化、訓(xùn)練異步化和系統(tǒng)異構(gòu)化的協(xié)同演進(jìn)。GPT-5迭代速度放緩，正是實(shí)驗(yàn)資源逼近極限的直接反映。

這類架構(gòu)問題往往在營銷敘事中不被強(qiáng)調(diào)，但它們決定了大模型能否真正走出實(shí)驗(yàn)室，商業(yè)與技術(shù)如何對(duì)齊，研究與應(yīng)用如何銜接，這才是今天最現(xiàn)實(shí)的矛盾。

從Agent到多模態(tài)，再到系統(tǒng)架構(gòu)，Skywork技術(shù)研討會(huì)嘉賓很難較短的時(shí)間內(nèi)提出最終的解決方案，但核心問題均已浮出水面。對(duì)昆侖萬維而言，舉辦這樣的研討，將有力推動(dòng)產(chǎn)業(yè)界與學(xué)術(shù)界在關(guān)鍵議題上達(dá)成共識(shí)。接下來，Skywork技術(shù)論壇討論會(huì)研討會(huì)還將持續(xù)展開，而這些未竟的對(duì)話，本身就是值得關(guān)注的方向。