首页 > 生活分享 > 免费教学 > 快手发布对标Sora的视频生成大模型「可灵」 已开放邀测体验

快手发布对标Sora的视频生成大模型「可灵」 已开放邀测体验

发布时间:2024-06-07 16:16:45来源: 15210273549

OpenAI文生视频大模型Sora发布后,国内企业争相入局,国产文生视频大模型迈入加速阶段。36kr获悉,近日又一国产视频大模型加入战局,快手“可灵”视频生成大模型官网目前已正式上线。相较此前各家放出的视频大模型以展示视频为主,本次亮相的可灵大模型不但效果对标Sora,且已在快手旗下的快影App开放邀测体验。

可灵大模型官网

作为短视频领域头部玩家,快手在短视频视频技术方面有多年的深入积累,其视频生成大模型也有天然、广泛的应用场景。可灵大模型为快手AI团队自研,采用类Sora的技术路线并结合多项自研创新技术,具备诸多优势:1、能够生成大幅度的合理运动;2、能够模拟物理世界特性;3、具备强大的概念组合能力和想象力;4、生成的视频分辨率高达1080p,时长高达2分钟(帧率30fps),且支持自由的宽高比。

具体而言:可灵大模型能够生成大幅度的合理运动。可灵采用了3D时空联合注意力机制,能够更好地建模视频中的复杂时空运动。因此,可灵大模型不仅能够生成较大幅度的运动,且更符合客观运动规律,能够真正做到让想象力动起来。下面宇航员在月球上奔跑的例子中,随着镜头慢慢抬升,我们可以看到宇航员跑步的动作流畅轻盈,步态和影子的运动合理恰当。

prompt:一名宇航员在月球表面奔跑,低角度镜头展现了月球的广阔背景,动作流畅且显得轻盈

能够模拟真实物理世界的特性。得益于自研模型架构及Scaling Law激发出的强大建模能力,可灵大模型为我们构建起了一个无限逼近现实的想象空间,无论是真实世界的光影反射,重力影响下的流体运动,还是与物理世界的交互,可灵大模型都能够生成符合物理规律的视频。下面是小男孩吃汉堡的生成视频,一口咬下去,汉堡被咬掉一个大大的缺口,并在视频中一直保持。可以看到小孩咀嚼汉堡的享受表情,脸部的肌肉动态非常逼真。

prompt:一个戴眼镜的中国男孩在快餐店内闭眼享受美味的芝士汉堡

具备强大的概念组合能力和想象力。凭借模型对文本-视频语义的深刻理解和基于 Diffusion Transformer 架构学到的强大概念组合能力,可灵大模型能够将用户丰富的想象力转化为具体的画面,让创意触手可及。下面的视频展示了熊猫吉他手坐在湖边弹着吉唱着歌的想象场景。

prompt:一只大熊猫在湖边弹吉他

可灵大模型生成的视频分辨率高达1080p、时长高达2分钟(帧率30fps),且支持自由的输出视频宽高比。可灵大模型的自研3D VAE能够将视频编码到紧凑的隐空间并解码成带有丰富细节的视频,可以生成高达1080p分辨率30fps的视频。得益于高效的训练基础设施、极致的推理优化和可扩展的基础架构,可灵大模型能够生成长达2分钟的视频。在推理过程中,还可以做到同样内容输出多种视频宽高比。同时,可灵官网还展示了分钟级的视频生成效果,可以跟随镜头看到,小男孩骑自行车游览花园,在一镜到底中穿越春夏秋冬四季的风景。

免费教学更多>>

比亚迪2025款汉系列城市领航智驾开启 现代新款中大型SUV曝光:取消V6,设计更方正,值得等? 韩日美“大战”!第五代胜达、锐界L、探陆拼油耗,谁能赢? 全新特斯拉Model Q要来了,或低至14万,续航500km以上,能火? 锁定年度销冠的4款车:秦PLUS家族卖疯了,帕萨特月销近2万辆 卖得最好的合资中型SUV之一,探索探岳的热销密码 比亚迪海豹07 DM-i,1.5升/1.5T插混动力,能买吗? 受缺陷调查影响,奥迪将召回超13万台车辆,本周五正式实施! 369包月?“宁王”再战换电赛道,这次能否一统江湖? 从高锐到袁小华,广汽本田的产品转型之路该如何走? 智能人机交互新物种:BMW首创全景iDrive即将在2025 CES 首发 小米SU7单周锁单破7K:坠坡事件传播推动明显 市场主导、技术驱动!中国汽车动力进入深耕期 12月30日起北京市机动车限行尾号将轮换 iCAR V23新车总经理:卷功能卷配置其实没用 英国11月汽车产量同比下降30.1%,12月份汽车销量上升数据分析 蔚来萤火虫计划2025上半年登陆欧洲,换电站成本降三成 智勇双全 敢为人先!方程豹汽车跨界演绎优雅硬派 数量达到2286台,林肯在国内召回部分车辆,发生了啥? 联合不过是“基操”,日产陷入危机非倒闭,或联合本田又造一巨头 ET9让大家知道蔚来500多亿研发花哪了 蔚来10年“蔚乐萤”成形 躲不掉的付航,绕不开的思域 丰田格瑞维亚连续5月销量上涨!事实证明:没有降价卖不动的车? LFC智慧制动系统加持,岚图知音树立后驱车辆动态驾驶新标杆 砥砺前行蓄势待发 昆明市汽车租赁行业协会2024年终总结大会举办 挂绿牌的埃尔法要来了,PHEV版本即将发布 广汽2024年销量下滑20.1%,仅完成年度目标73% 11月份SUV、轿车、MPV销量排行榜盘点,快看你喜欢车型排第几名? 微软Xbox或开放第三方制造,新战略即将揭晓? 谁是你的下一个电动座驾?2025款极氪001、汉EV、阿维塔12横评