界面新聞?dòng)浾?| 陸柯言

界面新聞編輯 | 文姝琪

繼快手可靈、字節(jié)即夢(mèng)之后，騰訊混元大模型也在12月3日宣布上線文生視頻（text-to-video）能力。目前，C端用戶可通過(guò)騰訊元寶APP申請(qǐng)?jiān)囉?，企業(yè)客戶通過(guò)騰訊云提供服務(wù)接入，API同步開(kāi)放內(nèi)測(cè)申請(qǐng)。

文生視頻是騰訊混元大模型繼文生文、文生圖、3D生成之后的又一次業(yè)務(wù)拓展嘗試。與多數(shù)廠商不同的是，騰訊選擇開(kāi)源該視頻生成模型，其參數(shù)量達(dá)到130億，也是當(dāng)前最大的視頻開(kāi)源模型。?

這一新功能的操作界面并不復(fù)雜。用戶只需要輸入一段描述，即可生成一段5秒時(shí)長(zhǎng)的視頻，目前支持中英文雙語(yǔ)輸入、多種視頻尺寸以及多種視頻清晰度。

目前主流平臺(tái)支持的免費(fèi)文生視頻體驗(yàn)多在5～6秒之間。騰訊混元的多模態(tài)生成技術(shù)負(fù)責(zé)人凱撒表示，視頻時(shí)長(zhǎng)并非技術(shù)挑戰(zhàn)，而是算力和數(shù)據(jù)挑戰(zhàn)。因?yàn)槊慨?dāng)時(shí)長(zhǎng)擴(kuò)長(zhǎng)一倍，算力也將呈平方級(jí)上升，在成本上并不劃算。大部分影視劇或剪輯作品都是不同鏡頭的拼接，因此第一版將優(yōu)先滿足基本需求，如果未來(lái)有更強(qiáng)烈的長(zhǎng)時(shí)間鏡頭需求，再做升級(jí)。

凱撒介紹，混元視頻生成模型基于與Sora類似的DiT架構(gòu)，并在架構(gòu)設(shè)計(jì)上進(jìn)行了多處升級(jí)，包括適配了新一代文本編碼器提升語(yǔ)義遵循，能夠更好地應(yīng)對(duì)多個(gè)主體描繪。此外，它的一個(gè)代表性特色是，能夠?qū)崿F(xiàn)在畫(huà)面主角保持不變的情況下自動(dòng)切鏡頭，這是目前業(yè)界大部分模型所不具備的能力。

2024年2月，OpenAI發(fā)布的文生視頻大模型Sora點(diǎn)燃了文生視頻賽道。不過(guò)， Sora目前并未對(duì)普通用戶開(kāi)放，而是僅將測(cè)試資格開(kāi)放給了視覺(jué)藝術(shù)家、設(shè)計(jì)師和電影制作人。一種解釋是，考慮到今年的美國(guó)大選，OpenAI希望竭力避免安全風(fēng)險(xiǎn)，希望在大選之后再全面對(duì)外開(kāi)放。

而在Sora尚未徹底“亮活”之前，中國(guó)廠商已經(jīng)表現(xiàn)得頗為積極。快手可靈、字節(jié)即夢(mèng)、Minimax旗下海螺AI、阿里巴巴通義萬(wàn)相等都是文生視頻領(lǐng)域的代表產(chǎn)品，其中不少已經(jīng)開(kāi)始進(jìn)軍海外，并且推出了較為完備的會(huì)員付費(fèi)體系，快速進(jìn)行商業(yè)化變現(xiàn)。

考慮到算力及數(shù)據(jù)成本之高，商業(yè)化同時(shí)是所有相關(guān)產(chǎn)品難以避免的話題。騰訊同樣為混元設(shè)計(jì)了商業(yè)化路徑。由于混元視頻生成模型具有高畫(huà)質(zhì)優(yōu)勢(shì)，可用于工業(yè)級(jí)商業(yè)場(chǎng)景例如廣告宣傳、動(dòng)畫(huà)制作、創(chuàng)意視頻生成等場(chǎng)景。

但由于技術(shù)尚未足夠成熟，目前市面上的文生視頻模型仍然存在一些缺陷。例如生成視頻在畫(huà)質(zhì)、細(xì)節(jié)、真實(shí)感等方面仍與真實(shí)視頻存在差距，且用戶對(duì)視頻生成過(guò)程的控制能力有限，只能通過(guò)修改文本提示來(lái)間接影響視頻生成效果，而文本與視頻的語(yǔ)義匹配度不足，也會(huì)導(dǎo)致生成效果不及用戶預(yù)期。

“我們確實(shí)看到很多產(chǎn)品和模型有先發(fā)優(yōu)勢(shì)，但自己做的時(shí)候卻發(fā)現(xiàn)，現(xiàn)在視頻生成、尤其是是文生視頻領(lǐng)域成熟度遠(yuǎn)沒(méi)有大家想象的那么高。失敗率很高，抽卡太多了?！眲P撒表示?！俺榭ā敝傅氖俏纳曨l效果不穩(wěn)定，用戶需要多次嘗試才能得到符合自己期望的滿意畫(huà)面，就像抽獎(jiǎng)一樣碰運(yùn)氣。

這也是騰訊并不急于商業(yè)化的原因。凱撒認(rèn)為，文生視頻技術(shù)還沒(méi)有到大規(guī)模商業(yè)化的程度，仍在技術(shù)打磨階段。因此，騰訊決定在這一階段推出文生視頻模型并將其開(kāi)源，讓更多開(kāi)發(fā)者來(lái)使用并基于騰訊混元系列打造應(yīng)用及服務(wù)，也只有更多人來(lái)使用，才能更快地將技術(shù)推向成熟。