中国版Sora来了！清华打造！背后创业公司已融资数亿元

时隔两个(gè)月(yuè)，清华团队打造了(le)一(yī)个中国版的Sora视频大模型。

4月27日，在中关(guān)村论坛未来人工智(zhì)能先锋论坛上，中国首个长时长、高一致性、高动态性视(shì)频大模型Vidu正式(s中国版Sora来了！清华打造！背后创业公司已融资数亿元hì)发布。这(zhè)一模型(xíng)由清华(huá)大学和大模型创业公(gōng)司生数科(kē)技联合(hé)发布，可以一键生成(chéng)长(zhǎng)度(dù)达16秒、分辨率为1080P的高清视频内容。

证(zhèng)券时报记者独家获悉，清华大学人工智能研究院(yuàn)副院长、生(shēng)数科技首席(xí)科学家朱军(jūn)在Vidu发布后发声表(biǎo)示：“Vidu，we do, we did, we do together！感谢小伙伴们日以继夜的坚持，在(zài)实验室架构上开花结果。”据介绍，这也是自OpenAI发布(bù)Sora以(yǐ)后，全球率先取得重大突破的视频大模型。

Sora发布后，行(xíng)业(yè)内一直有团队宣称要追赶和复现Sora，而Vidu团(tuán)队用两个月(yuè)的时间(jiān)率先跑出来。记者梳理发现(xiàn)，生数科技在(zài)多模态大模型领域已(yǐ)经有较深的积累，也是目前多模态大模型赛道估值(zhí)最高的初(chū)创公司之一。目前公(gōng)司已完成三轮融资，融资额(é)达数亿(yì)元人(rén)民币，投资方包括启明创投、智谱(pǔ)AI、BV百度风投、锦秋基(jī)金等一众机构。

对标Sora，生(shēng)成视频连贯高(gāo)清

“画(huà)室(shì)里的一艘船驶向镜(jìng)头”，只(zhǐ)需要输(shū)入这样一句简单的指令，即可以生成效果逼(bī)真、镜头连贯(guàn)的(de)一段视频。在生数科技发布(bù)的(de)Vidu模型生成视频样片中，视频的整体质感几乎可与(yǔ)Sora相媲美(měi)。

据生数科技介绍，Vidu模型采用团(tuán)队原创的Diffusion与Transformer融合的架(jià)构U-ViT，支持一键生成长达16秒、分辨率高达1080P的高清视(shì)频内容。“U-ViT架构早在2022年(nián)9月就由团队提出，早于Sora采用的DiT架(jià)构，是全球首个Diffusion与Transformer融合的(de)架构。”生数科技表(biǎo)示。

记者注(zhù)意到，今年3月生数科技完成新一轮(lún)融资后，公司就公开表示，虽然Sora的出(chū)现(xiàn)表明美国在多模态大模型领域具有(yǒu)领先性，“但中国也并(bìng)非完全从零开始的阶(jiē)段”。据(jù)介绍，朱军在(zài)2023年(nián)1月就提出(chū)了基于Transformer的(de)多模态扩(kuò)散大(dà)模型UniDiffuser，采用了U-ViT，该架构与Sora的架构路线完全一致，区别在于UniDiffuser主要应(yīng)用于图像生(shēng)成任务，但也可(kě)以以此为基础进行视频任(rèn)务的拓展。

正是基于(yú)在机(jī)器学习(xí)和多模态大(dà)模型的长期积累，团队才能够(gòu)在短短(duǎn)的两个月时间里(lǐ)突破了(le)长视频表(biǎo)示与处理的(de)多项关(guān)键(jiàn)技术，成功研发推出Vidu视频大模型。朱军在Vidu模型发布现场表示，Vidu主要(yào)有(yǒu)以下方面的特点与(yǔ)优势：

一是模拟真(zhēn)实物(wù)理世界，可以生成复杂、细节丰(fēng)富的场景，光(guāng)影效(xiào)果(guǒ)与人物表情都能够符合真实的物理规律。

二是富有想象力，可(kě)以虚构场(chǎng)景以及想象超现实主义的画面(miàn)。

三是具(jù)有多镜(jìng)头语言，不(bù)再局(jú)限于固定镜头，能够在(zài)遵循主体一致性的情况下实现远景、近(jìn)景、中景、特写等(děng)不同镜头的动态(tài)切换，还可以实现长镜头、追焦等(děng)效果(guǒ)。

四是有出色的视频时长，能支持16秒(miǎo)长度的视频生成，保持镜头和主体的连贯(guàn)一致(zhì)。

五是能理解中国元素，可(kě)以更好地理解生成熊猫、龙等富有中国(guó)文化特(tè)色的形象。

Vidu生成的龙、熊猫等中国文化(huà)元素视频

背后团队来自清华，已(yǐ)融资数亿元

Vidu的背后，是一(yī)家来自(zì)清(qīng)华的(de)明星创业(yè)公司(sī)生(shēng)数科技。

公开资料显(xiǎn)示，生数科技成(chéng)立(lì)于2023年3月，核心成员来自清华大学人工智能研究院，致力于自主研发世(shì)界领先(xiān)的可控多模态(tài)通用大模(mó)型。公司的CEO本硕就读于清华大(dà)学计算(suàn)机系的唐家渝，首席科学(xué)家由(yóu)清华(huá)人工智能研(yán)究院副院长朱军担任，CTO鲍(bào)凡则是清华大学计算机系博(bó)士(shì)生、朱军教授的课题组成员，长期关注扩散模型领(lǐng)域研究。

记者注意(yì)到，今年3月，唐家渝曾在沟通会上向(xiàng)媒体表示(shì)，今年内公司的大模型(xíng)一定能达到Sora目前版本的效(xiào)果，“但很难说(shuō)是(shì)三个月还是半年”。然而，Vidu却提前交出(chū)了(le)一份(fèn)令人(rén)惊艳的考卷，这主要得益于团队是国内最早布局多模态大模(mó)型的团队之一，多年(nián)以来在这一领域形成了深厚的积累。

据唐家渝介绍，生数科技(jì)目前采取模型层和应(yīng)用层两条路走路的模式。一方面，构建覆(fù)盖文本、图(tú)像、视(shì)频、3D 模型等多模态能(néng)力的底层通用大模型，面向(xiàng)B端提供模型服务能力；另(lìng)一方(fāng)面，面向图像(xiàng)生成、视频生成等场景打造垂类应用，按照订阅等形式收费，应用方向(xiàng)主要是游(yóu)戏制(zhì)作、影(yǐng)视(shì)后期等内(nèi)容创作场景。

记者梳(shū)理(lǐ)发现，生数科技自成(chéng)立以来就备受资本(běn)关注。天眼查(chá)数据显示，生数科技目前共(gòng)完成3轮融资。2023年6月，完成近亿元人民(mín)币天使轮融资，投资方包括蚂蚁集团、BV百(bǎi)度风(fēng)投、卓源亚洲、卓源资本；2023年8月，完成数千万人民币天使+轮融资，投资方为锦秋基金；2024年3月，完(wán)成数亿元人民币A轮融资(zī)，投资方除了启明创投(tóu)、达泰资本、智谱AI等新机构以外，还有BV百度风投、卓源亚洲(zhōu)两个老股(gǔ)东(dōng)。

在三轮融资(zī)总计数亿元人民币(bì)的资(zī)本加持下，生数科技已成(chéng)为目前国内多模(mó)态大(dà)模型(xíng)中(zhōng)估值最高的初创公司之一。生数科技表示，Vidu的问世不仅是U-ViT融(róng)合架构在大规模(mó)视(shì)觉任务中的又(yòu)一次成功验证，也(yě)代表了生数科技在(zài)多模(mó)态原生(shēng)大模(mó)型领域的持续创新能力和领先性。

责(zé)编：朱雨蒙

校对(duì)：冉燕青

时隔(gé)两个月，清华团队打造了(le)一个中国版的Sora视频大模型。

4月27日，在中关村论坛未来人工智能(néng)先锋(fēng)论坛上，中国(guó)首(shǒu)个长时长、高一(yī)致性、高动态性视(shì)频大模型Vidu正式发布。这一模(mó)型(xíng)由清华(huá)大学和(hé)大模型创业公司生数科技联合发布，可以一键生成长(zhǎng)度达16秒、分辨率为1080P的高清视频内容。

证券时报记者独家获悉，清华大学人工智(zhì)能研究院副院长、生数科技首席科学家朱军在(zài)Vidu发布后发声表示(shì)：“Vidu，we do, we did, we do together！感(gǎn)谢小伙伴们日以继夜的坚(jiān)持，在实验室架构上开(kāi)花结果。”据介绍，这也是自OpenAI发(fā)布Sora以后，全球率先取(qǔ)得重大(dà)突破的视频大(dà)模型。

Sora发布后，行业内一直有团队宣称要追赶和复现Sora，而Vidu团队用两个月的时间率先跑出来(lái)。记(jì)者梳理发现，生数科技在多模(mó)态大模型领域已经有较深的积累，也是目前多模态大模型赛道估值最高的初(chū)创公司(sī)之一。目前公司(sī)已完成三轮融资，融资(zī)额达数亿元人(rén)民币，投(tóu)资方包括(kuò)启明创投、智谱AI、BV百度风投、锦秋(qiū)基(jī)金等一众机(jī)构。

对标(biāo)Sora，生成视(shì)频连贯高清(qīng)

“画室里的一艘船驶向镜头”，只(zhǐ)需要输入这样一句简单的指令(lìng)，即可以(yǐ)生成效果逼真、镜头连贯的一段视频。在(zài)生(shēng)数科技发布的Vidu模型生成视频样片中，视频(pín)的(de)整(zhěng)体质感几乎可与Sora相媲(pì)美(měi)。

据生数科技介(jiè)绍，Vidu模型采用团(tuán)队原(yuán)创的(de)Diffusion与Transformer融合的架(jià)构U-ViT，支持一(yī)键生成长达(dá)16秒、分(fēn)辨率高达1080P的高清视频内容(róng)。“U-ViT架(jià)构早(zǎo)在(zài)2022年9月(yuè)就由团队提出(chū)，早于Sora采用的(de)DiT架构，是全球首个Diffusion与Transformer融合(hé)的架构。”生数科(kē)技表示。

记者注意到，今(jīn)年(nián)3月生数科技完成新一轮融资后，公司就(jiù)公开表示，虽然Sora的(de)出现表明美国在多模态大模型领域(yù)具有(yǒu)领先性，“但中国也(yě)并非完全从零开始的阶段”。据介绍，朱军在2023年1月就提出了基(jī)于Transformer的多模态(tài)扩散大模型UniDiffuser，采用了U-ViT，该架构与Sora的架(jià)构路线完全一致，区别在于(yú)UniDiffuser主(zhǔ)要应用于图像生成任务，但也可以以此为基础进行视频任(rèn)务的拓展。

正是基于在机器学习和多模态大模型的长(zhǎng)期积累，团队才能够在短短的两个月时间里突破了(le)长视频表示与处(chù)理的多项关键技术，成功研(yán)发推(tuī)出Vidu视频大模型。朱军在Vidu模型发布现场表示，Vidu主要有以下方面的特(tè)点与优势：

一是模(mó)拟(nǐ)真实物理世界，可以生成复杂、细节丰富的场景(jǐng)，光影效果与人物(wù)表情都能够符(fú)合真实的(de)物理规律。

二是富有想象(xiàng)力，可以虚构场景(jǐng)以及(jí)想象超现实主义的画面。

三是具有多镜(jìng)头语言，不再局限于固(gù)定镜头，能够在遵(zūn)循主体一致性的情(qíng)况下实现远(yuǎn)景、近景、中(zhōng)景、特写等不同镜头的动态切换，还可以(yǐ)实现长镜头、追焦等效果。

四是有出色的视频时长，能支持16秒长度的视频生成，保持镜头和主(zhǔ)体的(de)连贯(guàn)一致。

五是能理解中国元素，可以更(gèng)好地(dì)理解(jiě)生成熊猫(māo)、龙(lóng)等富有中国(guó)文化特色的形象。

Vidu生成的龙、熊猫等中国文化元素视频

背后团队来自清华，已融资数亿(yì)元

Vidu的背后(hòu)，是一家来(lái)自清华的明星创业(yè)公司生数科技。

公开资(zī)料显示，生数科技成(chéng)立于2023年3月，核心成员来自清华大学人工智能(néng)研究(jiū)院，致力(lì)于自主研发世界领先的可(kě)控多模态通用大模型。公司的CEO本硕就读于清华(huá)大(dà)学计(jì)算机系的唐家渝，首席科学家由清(qīng)华人工智能(néng)研究(jiū)院副院长朱军(jūn)担(dān)任，CTO鲍凡则是清华(huá)大学计算机系博士生、朱(zhū)军教授(shòu)的课题组(zǔ)成员，长期关注扩散模型领域研究。

记者注(zhù)意到，今年(nián)3月，唐家渝曾在沟通会上向媒体表(biǎo)示，今年内公司的大模型一定(dìng)能(néng)达到Sora目前版本的效(xiào)果，“但很(hěn)难说(shuō)是三个月(yuè)还是半年”。然而，Vidu却提(tí)前交出了(le)一份令人惊艳(yàn)的考卷(juǎn)，这主要(yào)得(dé)益于团队是国内最早布局多模态(tài)大模(mó)型的团队之一，多年以(yǐ)来在这一(yī)领域形成了深厚的积累。

据唐(táng)家渝介绍，生数科(kē)技(jì)目前采(cǎi)取模型层和应用层两条路走路的(de)模式(shì)。一方面，构建覆盖文本、图(tú)像、视频、3D 模型(xíng)等多模态能力(lì)的底层通用大(dà)模型，面向B端提供模型(xíng)服务能力；另(lìng)一方面(miàn)，面向图像生成、视频生成等场景打造垂类应用，按照订阅等形式收(shōu)费，应用方向主(zhǔ)要是游戏制作、影视后期等(děng)内容创作场景。

记者梳理发现(xiàn)，生数科技自成立以来就(jiù)备受资本关注。天眼查(chá)数据显示，生数(shù)科技目(mù)前共完成3轮融资。2023年6月，完成近亿元人(rén)民币天使轮(lún)融资，投(tóu)资方包括(kuò)蚂蚁集团、BV百(bǎi)度风投、卓源亚洲、卓(zhuó)源资本；2023年(nián)8月，完成数千万人(rén)民币天使+轮融资(zī)，投(tóu)资方(fāng)为锦秋基金；2024年3月，完成数亿元人民币A轮(lún)融资，投资方除了启明创投、达泰资本、智谱AI等新机构以外，还有BV百度风投、卓源亚(yà)洲两个老股东。

在三轮融资总计数亿元人民币的资本加持(chí)下，生数科技已成为目前国内多模态大模型中估(gū)值最高的初创公司之一。生数科技(jì)表示，Vidu的问世不仅是U-ViT融合架构在大(dà)规模视觉任务中的又一次成功(gōng)验证，也代表了生数科技在多模态(tài)原生大模型领域的持续创新能力和领先性。