以下文章來(lái)源于中國(guó)新聞網(wǎng) ，作者記者 陳溯

4月27日，在中關(guān)村論壇未來(lái)人工智能先鋒論壇上，啟明創(chuàng)投投資企業(yè)生數(shù)科技聯(lián)合清華大學(xué)正式發(fā)布中國(guó)首個(gè)長(zhǎng)時(shí)長(zhǎng)、高一致性、高動(dòng)態(tài)性視頻大模型——Vidu。該模型采用團(tuán)隊(duì)原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長(zhǎng)達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。Vidu不僅能夠模擬真實(shí)物理世界，還擁有豐富想象力，具備多鏡頭生成、時(shí)空一致性高等特點(diǎn)。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型，性能全面對(duì)標(biāo)國(guó)際頂尖水平，并在加速迭代提升中。

01/
多維度模擬真實(shí)世界
全面對(duì)標(biāo)Sora

與Sora一致，Vidu能夠根據(jù)提供的文本描述直接生成長(zhǎng)達(dá)16秒的高質(zhì)量視頻。除了在時(shí)長(zhǎng)方面的突破外，Vidu在視頻效果方面實(shí)現(xiàn)顯著提升，主要體現(xiàn)在幾個(gè)方面：

• 模擬真實(shí)物理世界：能夠生成細(xì)節(jié)復(fù)雜的場(chǎng)景，且符合真實(shí)的物理規(guī)律，例如合理的光影效果、細(xì)膩的人物表情等；

• 具有豐富想象力：能夠生成真實(shí)世界不存在的虛構(gòu)畫(huà)面，創(chuàng)造出具有深度和復(fù)雜性的超現(xiàn)實(shí)主義內(nèi)容；

• 多鏡頭語(yǔ)言：能夠生成復(fù)雜的動(dòng)態(tài)鏡頭，不再局限于簡(jiǎn)單的推、拉、移等固定鏡頭，而是能夠圍繞統(tǒng)一主體在一段畫(huà)面里就實(shí)現(xiàn)遠(yuǎn)景、近景、中景、特寫(xiě)等不同鏡頭的切換，包括能直接生成長(zhǎng)鏡頭、追焦、轉(zhuǎn)場(chǎng)等效果，給視頻注入鏡頭語(yǔ)言；

• 時(shí)空一致性高：在16秒的時(shí)長(zhǎng)上保持連貫流暢，隨著鏡頭的移動(dòng)，人物和場(chǎng)景在時(shí)間、空間中能夠保持一致；

• 理解中國(guó)元素：能夠生成特有的中國(guó)元素，例如熊貓、龍等。

值得一提的是，短片中的片段都是從頭到尾連續(xù)生成，沒(méi)有明顯的插幀現(xiàn)象（注：插幀主要是通過(guò)在視頻的每?jī)蓭?huà)面中增加一幀或多幀來(lái)提升視頻的長(zhǎng)度或流暢度。這種方法需要對(duì)視頻進(jìn)行逐幀處理，通過(guò)插入額外的幀來(lái)改善視頻長(zhǎng)度和質(zhì)量，是一個(gè)分步驟的過(guò)程。但Vidu與Sora則是通過(guò)單一步驟直接生成高質(zhì)量的視頻，無(wú)需經(jīng)過(guò)多個(gè)步驟的關(guān)鍵幀生成和插幀處理），從這種“一鏡到底”的表現(xiàn)能夠推測(cè)出，Vidu采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實(shí)現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

02/
早于Sora提出全球首個(gè)U-ViT融合架構(gòu)

Vidu的快速突破源自于團(tuán)隊(duì)在貝葉斯機(jī)器學(xué)習(xí)和多模態(tài)大模型的長(zhǎng)期積累和多項(xiàng)原創(chuàng)性成果。其核心技術(shù)U-ViT架構(gòu)由團(tuán)隊(duì)于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個(gè)Diffusion與Transformer融合的架構(gòu)，完全由團(tuán)隊(duì)自主研發(fā)。

2023年3月，團(tuán)隊(duì)開(kāi)源全球首個(gè)基于U-ViT架構(gòu)的多模態(tài)擴(kuò)散大模型UniDiffuser，在全球范圍內(nèi)率先完成融合架構(gòu)的大規(guī)模可擴(kuò)展性（Scaling Law）驗(yàn)證。UniDiffuser是在大規(guī)模圖文數(shù)據(jù)集LAION-5B上訓(xùn)練出的近10億參數(shù)量模型，支持圖文模態(tài)間的任意生成和轉(zhuǎn)換。在架構(gòu)上，UniDiffuser比同樣DiT架構(gòu)的Stable Diffusion 3領(lǐng)先了一年。

自今年2月Sora發(fā)布推出后，團(tuán)隊(duì)基于對(duì)U-ViT架構(gòu)的深入理解以及長(zhǎng)期積累的工程與數(shù)據(jù)經(jīng)驗(yàn)，在短短兩個(gè)月進(jìn)一步突破長(zhǎng)視頻表示與處理關(guān)鍵技術(shù)，研發(fā)推出Vidu視頻大模型，顯著提升視頻的連貫性與動(dòng)態(tài)性。

從圖文任務(wù)的統(tǒng)一到融合視頻能力，作為通用視覺(jué)模型，Vidu能夠支持生成更加多樣化、更長(zhǎng)時(shí)長(zhǎng)的視頻內(nèi)容，同時(shí)面向未來(lái)，靈活架構(gòu)也將能夠兼容更廣泛的模態(tài)，進(jìn)一步拓展多模態(tài)通用能力的邊界。

Vidu的問(wèn)世，不僅是U-ViT融合架構(gòu)在大規(guī)模視覺(jué)任務(wù)中的又一次成功驗(yàn)證，也代表了生數(shù)科技在多模態(tài)原生大模型領(lǐng)域的持續(xù)創(chuàng)新能力和領(lǐng)先性。同時(shí)生數(shù)科技表示，大模型的突破是一個(gè)多維度、跨領(lǐng)域的綜合性過(guò)程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計(jì)劃”，誠(chéng)邀產(chǎn)業(yè)鏈上下游企業(yè)、研究機(jī)構(gòu)加入，共同構(gòu)建合作生態(tài)。

請(qǐng)復(fù)制下方網(wǎng)址在瀏覽器打開(kāi)，獲取“Vidu大模型合作伙伴計(jì)劃”申請(qǐng)信息。

申請(qǐng)鏈接：

https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph