美国科技巨头Meta近日发布了Movie Gen,号称是“最先进的媒体基础模型”。据悉,Movie Gen可生成1080P、16秒、每秒16帧的高清长视频,其不但可以通过文本输入生成视频,还可以通过文本对现有视频进行编辑修改,据称逼真程度超越大半年前掀起一波文生视频热潮的Sora。不过,也仅此而已。行业并没有掀起太大波澜。
事实上,不只是Movie Gen被冷落,曾经全球爆红的快手可灵,字节的即梦AI,国外的Runway、Luma AI、Pika等都日渐降温,而Sora则至今未能正式上线。
一度炽热的AI视频生成赛道,难道真如百度董事长兼CEO李彦宏最新点评般,“Sora这种视频生成的投入周期太长,10年、20年都可能拿不到业务收益”,就此“凉凉”了?
1
视频生成的AI热
2024年2月,Sora的横空出世给AI及视频创作领域都带来一波新冲击。Sora不仅对文本理解更深刻,可以准确地呈现提示词,而且能在一个生成的视频中创建多个镜头,准确地保留角色和视觉风格,生成长达1分钟的质量惊艳的视频,让无数人惊叹:“以后可能不需要人拍电影了!”
据德邦证券统计,自Sora首次亮相以来,全球已有十多家公司发布或更新了视频生成模型。
2024年夏天以来,AI视频生成赛道变得异常炽热。Runway、Pika、Luma AI、Stability AI等新兴项目抢先推出比Sora更好用的AI视频生成工具,并免费提供给用户。
其中,Runway9月的新品已将视频生成时长延长至40秒,几乎追平Sora展示的效果;Luma AI比Sora效果更真实还免费,在全球知名数据机构SimilarWeb统计的全球AI产品访问量为AI视频生成类工具排名第一;Pika也在2024年10月推出Pika 1.5,更真实的运动效果和大屏幕镜头堪称惊艳;直到Meta最新发布的自带配音的文生视频模型Movie Gen,直接用一个完整的评测体系宣告自己打败Sora。
在中国,AI创企和科技巨头也已推出多款“中国造Sora”。爱诗科技、生数科技、智象未来、Morph Studio、智谱AI、Minimax等AI创企都已推出了公众可用的AI视频生成工具,具有高压缩率、优良的文本响应能力以及多样化风格,能够生成媲美电影质感的高分辨率、高帧率视频。
字节跳动、快手、腾讯等科技巨头也都相继入场搅局。快手今年7月推出的可灵AI,8月访问量已达1448万,环比增长591.54%,在AI视频生成赛道排名仅次于Luma AI,成为全球现象级爆红产品,而字节推出的即梦AI凭借CapCut(剪映)也已成为许多短视频博主创作必备工具。
2
大家“玩”厌了?
然而,在项目首次曝光8个月后的今天,Sora并没有如OpenAI的其他AI产品般普及开来,而是不断传出“难产”消息。
实际上,据外媒近期报道,一些试用了Sora的电影制作人透露体验并不太理想,问题包括Sora生成的视频在呈现提示词上不够准确,生成视频耗时久、一致性保持不足等。此外,“恐怖谷”效应多发,如生成的视频总是包含奇怪的物理现象,比如凭空出现一把椅子,或者错误地解剖分割事物,等等。换句话说,市面上AI视频生成工具有的“翻车”场面,Sora也都有。
与此同时,今年入秋以来,不少红极一时的类Sora产品同样热度骤降。
今年9月,根据InfoQ等科技媒体联合推出的AI产品榜·全球降速榜,上榜的前五名中有两名都是AI视频生成工具:Luma AI 9月访问量环比下降38.49%,Viggle 9月访问量环比下跌36.13%。
另据SimilarWeb数据,全球众多AI产品2024年8月访问量继续上涨,却未出现一个AI视频生成工具。排名22的Luma AI,访问量仅1920万,环比下跌14.9%。
在科技巨头方面,无论是国外的Meta、谷歌,还是国内的阿里、腾讯、百度等,至今没有推出全民级的AI视频生成产品,最多只是些试水式动作。
有视频创作者表示,单以产品来说,这些AI视频工具各具优点。比如海螺AI以其优秀的动画、镜头运用和人物情感表达而著称;Vidu在语义理解、特效2D动画、一致性等表现出色;Runway则以其较高的分辨率、优秀的画面质感成为广告行业的理想选择;而可灵则因其平衡的性能而被视为多面手。
不过,上述创作者还指出,文生视频大多时候更像是爱好者的“玩具”,难以满足商业需求。因为在短剧制作中,需要确保人物形象和其他元素的一致性,而文生视频往往只能生成几秒钟的内容,且下一秒的内容可能会发生变化,这显然无法满足专业制作的要求。此外,视频中的物理规律是否符合常识也是一个难点。
3
商业化前景严峻
近日,百度CEO李彦宏称“百度不做Sora”的演讲被媒体曝光,凸显了AI视频生成产品面临的严峻挑战,也引发了“中国版Sora值不值得做”等更多相关话题的争论。
李彦宏在内部讲话中称,Sora这种视频生成模型的投入周期太长,10年、20年都可能拿不到业务收益,无论多火爆,百度都不去做。
有批评者指出,除了前述的技术成熟度不足的共性问题外,生成式AI技术大幅降低视频生成门槛的同时,也对计算成本和效率提出了严峻的挑战。比如在Luma AI的Dream Machine发布后,由于大量用户涌入使用,服务器压力过大,很多用户需要排队等待数小时才能得到生成的视频,从而大大消耗了用户的耐心,让体验打折扣。从企业角度来说,提供AI视频生成服务是一项远比聊天机器人更耗费算力的工作,成本压力大。
另外,虽然各家AI视频生成工具都推出了免费服务,但大多都有次数和质量的限制。以Dream Machine为例,其有29.99美元的标准档、99.99美元的专业档以及499.99美元的高级档,高昂的价格使得当下AI视频生成工具的性价比大打折扣,影响其热度进一步提升。
从现实来讲,在经济增长放缓的背景下,无论是消费端用户还是各行各业企业对AI投入都会更加谨慎。
以短视频创作UGC市场为例,今年7月抖音和快手两大短视频厂商都亲自下场,分别推出《三星堆:未来启示录》《山海奇镜之劈波斩浪》两部AI生成短剧,尽管在平台的带动下两部AI短剧迅速播放破亿,并吸引了不少创作者开始尝试AI视频生成。然而,时隔三个月,在各大平台上并未看到AI生成短剧扎堆跟进出现的势头。
一些尝试过AI的短视频创作者表示,主要因为当下内容赛道竞争激烈,变现更加艰难,他们更愿意从话题、内容质量等方面去提升而非增大技术成本投入。
支持者一方如火山引擎视频云人士表示,当前视频数据的规模飞速增长,IDC预计,2025年全球数据量将达到175ZB,其中绝大部分将来自视频数据,而这一趋势,还将继续加速。技术的成熟,叠加应用的爆发,AI视频的战争,正迎来市场化为导向的下半场。
中信建投一份最新研报则认为,近期快手可灵、智谱、Runway等模型均开放视频模型API,平均生成一段5s的视频收费在0.5—2元不等。展望未来,随着AI视频在C端娱乐社交、B端影视内容制作等场景之下,应用渗透率提升,叠加API成本的持续下降,AI视频的商业化空间将打开。