文/觀察者網(wǎng) 周毅 編輯 張廣凱

5月14日，騰訊宣布旗下混元文生圖大模型全面升級并對外開源。據(jù)悉，這是業(yè)內(nèi)首個中文原生的DiT架構(gòu)文生圖開源模型。它支持中英文雙語輸入及理解，參數(shù)量15億。目前，該大模型已在Hugging Face平臺和Github上發(fā)布，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供企業(yè)與個人開發(fā)者免費(fèi)商用。

不同模型在圖文一致性等方面的表現(xiàn) 圖源Hugging Face

騰訊混元文生圖負(fù)責(zé)人蘆清林對觀察者網(wǎng)表示，提升技術(shù)能力和更廣泛的應(yīng)用，是該大模型未來的兩個方向。

“從技術(shù)能力的提升來說，如何讓圖片生成的速度更快，生成的質(zhì)量更好，是我們永遠(yuǎn)都會追求的一個技術(shù)方向，它似乎是沒有止境的?！碧J清林表示，項(xiàng)目團(tuán)隊(duì)也希望該大模型，能在騰訊內(nèi)外更廣泛的業(yè)務(wù)場景應(yīng)用起來。事實(shí)上，從去年開始，騰訊混元文生圖就和騰訊的廣告業(yè)務(wù)進(jìn)行了一些協(xié)作。

“今年會跟社交業(yè)務(wù)，包括QQ、企業(yè)微信等很多業(yè)務(wù)場景做聯(lián)動。跟他們合作做一些新的技術(shù)能力?！碧J清林透露，同時，該大模型也會跟騰訊游戲做一些深入的技術(shù)合作，希望能夠在美術(shù)場景中應(yīng)用起來。包括QQ音樂等在內(nèi)，也都是該大模型未來將會提供支撐的業(yè)務(wù)場景。

大模型的優(yōu)異表現(xiàn)，往往離不開先進(jìn)的技術(shù)架構(gòu)。過去，視覺生成擴(kuò)散模型主要基于U-Net架構(gòu)，但隨著參數(shù)量的提升，基于Transformer架構(gòu)的擴(kuò)散模型展現(xiàn)出了更好的擴(kuò)展性，有助于進(jìn)一步提升模型的生成質(zhì)量及效率。升級后的騰訊混元文生圖大模型采用了全新的DiT架構(gòu)（即Diffusion With Transformer），這也是Sora和Stable Diffusion 3的同款架構(gòu)和關(guān)鍵技術(shù)，它就是一種基于Transformer架構(gòu)的擴(kuò)散模型。

公開資料顯示，在DiT架構(gòu)的基礎(chǔ)之上，騰訊混元文生圖大模型還在算法層面優(yōu)化了模型的長文本理解能力，能夠支持最多256字符的內(nèi)容輸入，同時賦予其多輪生圖和對話能力：在一張初始生成圖片的基礎(chǔ)上，用戶通過自然語言描述，即可對其進(jìn)行調(diào)整。

用戶通過“對話”，即可調(diào)整文生圖的具體內(nèi)容 測試截圖

此外，“中文原生”也是騰訊混元文生圖大模型的一大亮點(diǎn)，此前，像Stable Diffusion等主流開源模型核心數(shù)據(jù)集以英文為主，對中國的語言、美食、文化、習(xí)俗理解有限。作為首個中文原生的DiT模型，混元文生圖具備中英文雙語理解及生成能力，在古詩詞、俚語、傳統(tǒng)建筑、中華美食等中國元素的生成上表現(xiàn)出色。

混元文生圖大模型的部分能力展示 圖源Hugging Face

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。