“越來(lái)越多的游戲開(kāi)發(fā)者、3D打印企業(yè)及專業(yè)設(shè)計(jì)師采用混元3D模型來(lái)生成數(shù)字資產(chǎn)。”在剛剛發(fā)布的騰訊Q2財(cái)報(bào)中，提到混元3D系列受到業(yè)內(nèi)認(rèn)可的現(xiàn)狀，對(duì)于模型的技術(shù)水平，財(cái)報(bào)中的描述為“領(lǐng)先行業(yè)的幾何精度、紋理真實(shí)度、指令與3D對(duì)齊能力。”
另一方面，“3D世界模型”是3D生成大模型中的新銳領(lǐng)域，直到去年才在業(yè)內(nèi)嶄露頭角。去年年底，“AI教母”李飛飛創(chuàng)業(yè)公司W(wǎng)orld Labs展示了一圖生成3D世界的AI系統(tǒng)，隨后，谷歌DeepMind也發(fā)布了可通過(guò)單張圖片或文字描述，生成3D場(chǎng)景的大型基礎(chǔ)世界模型Genie 2，并于上周更新至Genie 3。
Genie 3能以每秒 24 幀的速度實(shí)時(shí)導(dǎo)航，并以 720P分辨率保持幾分鐘的一致性。不過(guò)，和混元3D世界的技術(shù)路線不同，Genie 3更側(cè)重于打造一個(gè)動(dòng)態(tài)、多幀一致的交互式模擬世界，可以逐幀生成一個(gè)實(shí)時(shí)交互3d場(chǎng)景，但并不具備像混元3D世界那樣導(dǎo)出mesh場(chǎng)景的能力。
事實(shí)上，“世界模型”并不是一個(gè)新鮮概念，早在上世紀(jì)90年代開(kāi)始，就已在機(jī)器人導(dǎo)航工具領(lǐng)域應(yīng)用。而進(jìn)入大模型時(shí)代后，由人工智能驅(qū)動(dòng)的世界模型，已經(jīng)逐漸在包括具身智能、AR/VR、游戲影視開(kāi)發(fā)等領(lǐng)域內(nèi)，發(fā)揮基建性的作用。
“它既可以復(fù)刻一個(gè)虛擬的世界，去創(chuàng)造一個(gè)虛擬社交/游戲的場(chǎng)景，也可以創(chuàng)造一個(gè)模擬真實(shí)場(chǎng)景、比如展覽會(huì)等復(fù)制現(xiàn)實(shí)的形態(tài)。”談及3D世界模型給未來(lái)提供的想象空間，郭春超提供了他的思考。
為什么騰訊要瞄準(zhǔn)3D模型賽道？3D世界模型真的能給游戲/動(dòng)畫行業(yè)帶來(lái)產(chǎn)業(yè)革命嗎？日前，在深圳的一個(gè)炎熱午后，郭春超向字母榜回應(yīng)了上述問(wèn)題。
“在這個(gè)行業(yè)內(nèi)，只要一中斷，就在業(yè)界沒(méi)有聲音了。”在郭春超看來(lái)，想要在新領(lǐng)域站穩(wěn)腳跟，對(duì)新技術(shù)的持續(xù)跟進(jìn)和投入。這樣的觀點(diǎn)在業(yè)內(nèi)并不缺少案例， Meta早在去年就發(fā)布了Meta 3D Gen，一度處于業(yè)內(nèi)領(lǐng)先的水平。但隨后Meta并未持續(xù)在3D生成領(lǐng)域發(fā)力，更新節(jié)奏一度中斷，直到今年5月才推出Meta 3D Gen2.0。
“一個(gè)模型團(tuán)隊(duì)需要持續(xù)交付出好的東西，如果有一個(gè)階段沒(méi)有交付出來(lái)，后面可能就要還‘技術(shù)債’。” 總結(jié)混元3D團(tuán)隊(duì)的發(fā)展歷程，郭春超這樣說(shuō)道。
字母榜：和其他類型的大模型不同，3D生成模型是大眾用戶感知相對(duì)較弱的領(lǐng)域。作為資深從業(yè)者，你能簡(jiǎn)單總結(jié)一下目前3D生成所處的階段嗎？
郭春超：3D模型是一個(gè)發(fā)展相對(duì)較新、較晚的領(lǐng)域，大約在2024年業(yè)界才開(kāi)始加大投入、今年才看到商業(yè)拐點(diǎn)并爆發(fā)。相比之下，LLM（大語(yǔ)言模型）從2022年就出現(xiàn)了比較成熟的產(chǎn)品，比如GPT3.5的出現(xiàn)?，F(xiàn)在所處的階段，可以類比在LLM中，GPT2-GPT3之間并接近GPT3的一個(gè)狀態(tài)。
字母榜：你是說(shuō)，3D生成模型還在一個(gè)比較早期的階段？
郭春超：是的?，F(xiàn)在屬于是前半段賽程，在3D資產(chǎn)生成領(lǐng)域，希望到年底能做到類比LLM中GPT3.5的水平。
字母榜：在3D模型領(lǐng)域，騰訊是國(guó)內(nèi)走得比較快、做得也比較多的一家企業(yè)，而其他國(guó)內(nèi)頭部企業(yè)似乎沒(méi)有將3D模型作為主要方向。為什么騰訊會(huì)瞄準(zhǔn)3D模型賽道，這背后有怎樣的戰(zhàn)略考量？是否有來(lái)自公司內(nèi)部的場(chǎng)景或需求，在驅(qū)動(dòng)你們做這個(gè)事情？
郭春超：我們主要圍繞兩個(gè)大方向進(jìn)行布局。一個(gè)是業(yè)界的技術(shù)發(fā)展趨勢(shì)，另一個(gè)是我們騰訊的業(yè)務(wù)需求。在技術(shù)發(fā)展趨勢(shì)上，過(guò)去一年中，業(yè)內(nèi)3D模態(tài)的發(fā)展速度非?？?。國(guó)外企業(yè)像Meta、Google都在3D模型領(lǐng)域有重點(diǎn)投入，3D模態(tài)對(duì)我們理解三維物理世界必不可少。
從自身業(yè)務(wù)布局角度而言，騰訊在游戲、影視、動(dòng)漫等業(yè)務(wù)都會(huì)用到3D建模，為混元3D模型的發(fā)展提供了需求場(chǎng)景。至于國(guó)內(nèi)其他的企業(yè)，在這方面可能也有布局，但不一定像騰訊投入這么大。
字母榜：有沒(méi)有混元3D團(tuán)隊(duì)與上述內(nèi)部業(yè)務(wù)合作的具體案例？哪些團(tuán)隊(duì)和混元3D業(yè)務(wù)的關(guān)聯(lián)是最緊密的？
郭春超：比如在游戲板塊，我們已經(jīng)合作了多個(gè)團(tuán)隊(duì)，但由于保密原因不能公開(kāi)。不過(guò)，已經(jīng)有數(shù)十個(gè)游戲的項(xiàng)目組在使用混元3D的模型能力。
另一方面，我們和騰訊云是內(nèi)部合作關(guān)系，騰訊云會(huì)把混元3D的一些能力賦能到外部。比如說(shuō)設(shè)計(jì)Agent Lovart，以及3D 打印品牌拓竹科技、創(chuàng)想三維等。
字母榜：在迭代模型能力的時(shí)候，你們會(huì)參考內(nèi)部團(tuán)隊(duì)的意見(jiàn)或需求嗎？
郭春超：這個(gè)肯定會(huì)的?；旧衔覀儠?huì)把很多業(yè)務(wù)共性的需求匯總起來(lái)，作為后續(xù)研發(fā)方向的指導(dǎo)。
字母榜：今年1月，3D AI創(chuàng)作引擎2.0上線時(shí)，你曾表示：“3D模型生產(chǎn)的視覺(jué)合格率，僅用一年時(shí)間就從20%提升到60%的水平。”而混元3D世界模型的生成場(chǎng)景要更復(fù)雜，目前該模型生成質(zhì)量符合你的預(yù)期嗎？
郭春超：世界模型目前還處于早期階段，可能比混元3D 1.0當(dāng)時(shí)所處的階段還要再早一點(diǎn)。單個(gè)物體生成，模型輸出的就是單個(gè)資產(chǎn)，像一個(gè)人、一張桌子子，可約束的條件相對(duì)較多。
但世界模型是一整個(gè)開(kāi)放3D世界的生成，有真實(shí)的、有虛擬的；有自然的、也有室內(nèi)的。所以它的生成難度較高，涉及空間穩(wěn)定性、物理規(guī)律等影響因素也更多，因此它的發(fā)展可能需要更長(zhǎng)時(shí)間。
字母榜：如果要量化混元3D世界模型的合格率，你認(rèn)為能達(dá)到多少？
郭春超：不同的任務(wù)不一樣。如果是簡(jiǎn)單的一個(gè)展廳，只是進(jìn)入這個(gè)場(chǎng)景瀏覽一下，目前能做到30%-40%的合格率。如果有更高品質(zhì)的要求，比如說(shuō)在自動(dòng)駕駛場(chǎng)景，或者高品質(zhì)游戲的搭建，那以目前的模型能力，可能連10%的合格率都做不到。
字母榜：說(shuō)起合格率的問(wèn)題，背后其實(shí)有一個(gè)可控性的因素。相比物體3D模型，3D世界模型的生成任務(wù)更復(fù)雜，對(duì)可控性要求是否會(huì)更高？
郭春超：關(guān)于可控性問(wèn)題，本質(zhì)上是模型能力能不能穩(wěn)定激發(fā)出來(lái)。很多時(shí)候大模型在使用中需要“抽卡”（多次生成），通過(guò)強(qiáng)化學(xué)習(xí)等手段，我們希望把“抽卡”的能力穩(wěn)定下來(lái)，大幅提高了可控性。
而對(duì)于3D世界模型而言，提高生成的穩(wěn)定性是更復(fù)雜的工程，我們需要從數(shù)據(jù)端、模型架構(gòu)、預(yù)訓(xùn)練策略、后訓(xùn)方法（包括SFT、強(qiáng)化訓(xùn)練等環(huán)節(jié)），系統(tǒng)性的都“加固”一遍，最終才能逐步提升。
此外，在產(chǎn)品層面，我們后續(xù)也會(huì)逐漸降低用戶使用門檻，比如說(shuō)幫助用戶去做更多的prompt改寫，亦或者提供更多模態(tài)的輸入，例如“文+圖”或“文+多張圖”，使其可控性能更契合用戶的想法。
字母榜：在今年早些時(shí)候，騰訊的游戲制作人王智剛老師曾表示，面數(shù)控制能力對(duì)游戲研發(fā)來(lái)說(shuō)是至關(guān)重要的，某些游戲項(xiàng)目需要的3D模型可能只有幾千面，但一些大模型上來(lái)就是幾萬(wàn)面。而相比3D物體生成，3D世界生成的復(fù)雜性會(huì)更高，針對(duì)這一問(wèn)題你們是否有進(jìn)展？
郭春超：針對(duì)如何控制3D世界模型的生成文件大小，我們一直在優(yōu)化。最開(kāi)始使用了3D高斯?jié)姙R技術(shù)，但那會(huì)導(dǎo)致文件很大，后面我們將其轉(zhuǎn)成了面片的形式，壓縮了幾十倍的大小。
未來(lái)，相信隨著業(yè)界基建的發(fā)展，更好的渲染方式、更好的引擎出現(xiàn)，以及伴隨著模型層面的迭代，以及伴隨著模型層面的迭代，能把這個(gè)問(wèn)題更好地解決。
字母榜：目前，網(wǎng)頁(yè)版的混元3D世界模型包含兩種生成模式，前一種是基于文本/圖像，生成一個(gè)全景圖式的Skybox，后一種則是基于全景圖去生成3D世界。不過(guò)，目前在網(wǎng)頁(yè)端，即使生成了一個(gè)3D網(wǎng)格世界，能夠探索的范圍也很小，為什么要做這樣的限制？
郭春超：這是因?yàn)樵诩?D的場(chǎng)景里面，如果想要大范圍探索，會(huì)涉及到很多參數(shù)的設(shè)置，比如說(shuō)哪里該有空氣墻，哪里能進(jìn)去，還是需要有專業(yè)人士進(jìn)行進(jìn)一步的調(diào)整。
目前，無(wú)論是創(chuàng)作3D單體還是3D場(chǎng)景，要打包到引擎當(dāng)中去開(kāi)發(fā)成一款游戲，還是有一定的專業(yè)性。在3D世界模型的1.0階段，我們更多的是幫助創(chuàng)作者，去降低制作這些場(chǎng)景資產(chǎn)的門檻，但是還不能100%替代人工。
字母榜：行業(yè)也有類似的產(chǎn)品，宣稱可以實(shí)時(shí)生成游戲世界。這是某個(gè)海外團(tuán)隊(duì)的產(chǎn)品demo，和混元3D世界模型對(duì)比的話，你認(rèn)為這兩個(gè)產(chǎn)品的技術(shù)路線有什么差異？
郭春超：看了一下演示，他們可能采用的是視頻生成的模式，本質(zhì)上是預(yù)測(cè)畫面的下一幀。演示中的人物形象是一直往前走的，如果走了一會(huì)再回頭，會(huì)發(fā)現(xiàn)后面的山或者其他素材會(huì)消失。事實(shí)上，因?yàn)橐曨l生成數(shù)據(jù)量非常大，目前視頻生成技術(shù)還不能徹底進(jìn)入游戲的管線。
字母榜：不過(guò)實(shí)時(shí)生成游戲世界的理念，最近在業(yè)內(nèi)熱度還蠻高，混元下一步會(huì)有這種想法嗎？
郭春超：下一步，我們探索會(huì)結(jié)合3D和2D場(chǎng)景下的幾種模態(tài)，推出一個(gè)World Play的交互模型，預(yù)計(jì)在今年下半年推出。這個(gè)版本有望既解決了2D穩(wěn)定性的不足，又解決了3D生成多樣性的不足，把兩者的優(yōu)點(diǎn)結(jié)合起來(lái)。
圖注：混元世界模型1.0應(yīng)用概覽圖
字母榜：此前你曾表示，3D生成模型的發(fā)展還面臨一些挑戰(zhàn)。其中之一是數(shù)據(jù)的不足，在3D模型領(lǐng)域只有千萬(wàn)量級(jí)的數(shù)據(jù)，并且沒(méi)有被充分的利用。目前你們?cè)跀?shù)據(jù)利用層面是否有新的進(jìn)展？
郭春超：是的。我們目前用了大量的圖和視頻的場(chǎng)景，用來(lái)緩解了3D素材產(chǎn)能不足。尤其是大量的視頻場(chǎng)景，可以轉(zhuǎn)化為3D信息，進(jìn)而指導(dǎo)我們?nèi)プ鋈S世界的生成。而且最終生成的3D世界，既可以以3D的形式保存，也可以渲染成視頻，得到一個(gè)視頻或某一幀圖像。
當(dāng)然，在純3D文件領(lǐng)域，我們基于很多游戲資產(chǎn)等內(nèi)容，半自動(dòng)化搭建了很多3D場(chǎng)景。所以，在混元3D場(chǎng)景（世界）訓(xùn)練中，既用到了圖像、視頻，也用到了很多原生3D場(chǎng)景。相比此前的3D物體模型，在數(shù)據(jù)的豐富度有了較大提升。
字母榜：我們也留意到了前段時(shí)間發(fā)布的“混元游戲視覺(jué)的生成平臺(tái)”?；煸?D系列該平臺(tái)上也扮演了比較重要的角色，這是混元3D業(yè)務(wù)在應(yīng)用層面規(guī)劃的一部分嗎？
郭春超：那個(gè)游戲平臺(tái)更多的是我們針對(duì)游戲行業(yè)做的第一步的解決方案，它會(huì)持續(xù)迭代，后面我們也會(huì)有更多的游戲相關(guān)的功能加入到里面，形成一個(gè)更完整的游戲Paas（平臺(tái)及服務(wù)）解決方案。
我們會(huì)把游戲管線里面達(dá)標(biāo)的、能夠符合工業(yè)化生產(chǎn)標(biāo)準(zhǔn)的能力，集成到游戲平臺(tái)里面去。但如果是還處于前期探索階段的能力，我們會(huì)先研發(fā)一段時(shí)間，達(dá)到工業(yè)化水準(zhǔn)時(shí)再搬進(jìn)去。
字母榜：按照你之前的評(píng)價(jià)，混元3D世界模型似乎是你說(shuō)的后者，離工業(yè)化還有些距離。
郭春超：距離游戲管線是這樣，還需要一段時(shí)間。如果只是用在一些VR的觀看場(chǎng)景，可能已經(jīng)部分可用了。
字母榜：混元3D世界模型2.0的一些優(yōu)化方向，能不能透露一下？
郭春超：我們的2.0會(huì)在真實(shí)世界場(chǎng)景呈現(xiàn)上進(jìn)行比較大的投入。因?yàn)槟壳暗?.0更多聚焦在虛擬世界生成上，但是現(xiàn)實(shí)中也有很多應(yīng)用場(chǎng)景是需要真實(shí)感的，比如做一個(gè)線上的展覽會(huì)，想讓人有身臨其境的感覺(jué)，那就需要提升模型搭建真實(shí)場(chǎng)景的能力。
字母榜：近期WAIC上騰訊也同步了一些具身智能的進(jìn)展，其中有提到“多模態(tài)感知”這個(gè)板塊，這一部分會(huì)有混元3D能力的介入嗎。
郭春超：新推出的混元3D世界模型暫時(shí)沒(méi)有在具身智能里面應(yīng)用，但是我希望后面能提供3D的場(chǎng)景或者是世界生成的能力，包括剛剛提到的世界模型2.0，能夠更多地去賦能具身智能場(chǎng)景。
字母榜：回顧過(guò)去9個(gè)月，混元3D系列陸續(xù)發(fā)布并開(kāi)源了多款模型，此前還更新了一個(gè)面向?qū)I(yè)設(shè)計(jì)領(lǐng)域的Hunyuan3D-PolyGen。在規(guī)劃這些細(xì)分模型場(chǎng)景，或者說(shuō)模型產(chǎn)品矩陣時(shí)，你們考慮的因素有哪些？
郭春超：我們就主要考慮的是兩個(gè)大的方向。第一個(gè)大的方向，是怎么做好當(dāng)下。第二個(gè)大的方向，是怎么根據(jù)技術(shù)發(fā)展去拓展未來(lái)。
像我們現(xiàn)在做的3D資產(chǎn)的生成，更多的是服務(wù)于當(dāng)下的業(yè)務(wù)需求。而著眼于未來(lái)，像近期推出的混元3D世界模型，可能短期內(nèi)無(wú)法帶來(lái)天翻地覆的變化，但隨著技術(shù)的完善和成熟，未來(lái)它一定能“革命”掉很多東西。從創(chuàng)作方式到工業(yè)流程生產(chǎn)的方式，都是可能被“革命”掉的，我們發(fā)布開(kāi)源就是圍繞這兩個(gè)思路來(lái)做的。
字母榜：3D世界模型1.0，目前看起來(lái)還是有點(diǎn)投石問(wèn)路的意思。
郭春超：目前還處于比較早期，它會(huì)在部分場(chǎng)景，在VR或者是一些大家做原型場(chǎng)景的驗(yàn)證有用。但是很多事情是需要大家先把這個(gè)生態(tài)給做起來(lái)，讓開(kāi)源社區(qū)活躍起來(lái)，才會(huì)有更多研究者進(jìn)入到這個(gè)領(lǐng)域里面。
字母榜：說(shuō)到開(kāi)源，混元3D系列模型的在Hugging Face的下載量突破了230萬(wàn)。您怎么理解開(kāi)源社區(qū)中，廣大開(kāi)發(fā)者給你們的反饋？
郭春超：我們開(kāi)發(fā)團(tuán)隊(duì)和社區(qū)是一個(gè)雙向奔赴、互幫互助的狀態(tài)，社區(qū)里的開(kāi)發(fā)者能夠基于我們發(fā)布的技術(shù)成果進(jìn)行改進(jìn)，降低他們的研發(fā)門檻。比如說(shuō)一個(gè)開(kāi)發(fā)者是研究世界模型領(lǐng)域的，或者是做自動(dòng)駕駛領(lǐng)域的人，就能比較輕松把這個(gè)用起來(lái)。
如果沒(méi)有開(kāi)源，沒(méi)有去和社區(qū)交流，我們靠閉門造車是空想不出來(lái)的。他們也給了我們非常多的信息輸入，因此我覺(jué)得開(kāi)源社區(qū)是一個(gè)雙向共贏的事情。
字母榜：所以其實(shí)大家都非?？释麚肀聵I(yè)態(tài)，哪怕面對(duì)的是一個(gè)還不夠成熟的產(chǎn)品。
郭春超：是的，如果一個(gè)事情已經(jīng)到了商業(yè)化的拐點(diǎn)……
字母榜：那就該閉源了？
郭春超：（笑）這個(gè)問(wèn)題我就不多做評(píng)論，但是如果到了100%商業(yè)化拐點(diǎn)，可能業(yè)界研究的人就比較少了。舉個(gè)例子，就像手機(jī)的人臉識(shí)別已經(jīng)非常成熟，可用率也很高，再做這個(gè)算法研發(fā)ROI就十分有限。所以整個(gè)大模型界研究這個(gè)領(lǐng)域的人就比較少了，研究者的熱情更多是探索AGI怎么實(shí)現(xiàn)，思考一些星辰大海的領(lǐng)域。
字母榜：回顧過(guò)去9個(gè)月，雖然時(shí)間不長(zhǎng)，但不管是在模型數(shù)量還是生成質(zhì)量上，混元3D系列迭代得非常快，這背后的原因是什么？
郭春超：核心是做大模型三要素：算力、數(shù)據(jù)、人才，我們?cè)谶@三個(gè)方面都相對(duì)做的比較好。同時(shí)依托混元大模型這個(gè)平臺(tái)，包括公司層面上也給了混元特別大的支持。把三要素湊齊，是我認(rèn)為能做成的第一個(gè)原因。
第二個(gè)原因是團(tuán)隊(duì)組織形式，我們團(tuán)隊(duì)非常年輕且國(guó)際化，團(tuán)隊(duì)博士比例大約占2/3，基本上都來(lái)自于海內(nèi)外名校。此外，我們團(tuán)隊(duì)一直堅(jiān)持工業(yè)化的打法，在團(tuán)隊(duì)組織和運(yùn)作上都是保持非常“卷”的狀態(tài)。我認(rèn)為以上兩個(gè)方面是能夠讓這個(gè)模型技術(shù)快速迭代的最大原因。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論