豆包视频生成大模型发布:首次突破多主体互动难关

昨天 436阅读 0评论
豆包视频生成大模型发布:首次突破多主体互动难关

豆包视频生成大模型发布:首次突破多主体互动难关

近日,据相关报道,字节跳动正式进军人工智能视频生成领域,并发布了豆包视频生成-PixelDance和豆包视频生成-Seaweed两款大模型。这些大模型在面向企业市场进行邀测。

豆包视频生成模型凭借其卓越的语义理解能力、对复杂交互画面的精准捕捉以及多镜头切换下的内容一致性,成功跻身业界先进水平。该模型不仅可以深度理解并响应复杂指令,驱动不同人物角色完成一系列精细的动作互动,更在细节处理上达到了极致。

豆包视频生成模型依托字节跳动自主研发的DiT(Dynamic Integration Transformer)架构,通过高效的DiT融合计算单元,实现了视频在大动态场景与多样运镜之间的无缝切换。这一技术突破赋予了视频变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力,让视频创作更加自由灵动,满足了创作者对视觉表达的无限想象。

为了进一步提升视频创作的专业性和观赏性,“豆包视频生成”团队还创新性地采用了全新设计的扩散模型训练方法。这一方法有效攻克了多镜头切换过程中保持主体、风格、氛围一致性的技术难题,确保在镜头切换的瞬间,视频的整体氛围与细节表现依然和谐统一,为观众带来更加沉浸式的观看体验。

目前,“豆包视频生成”系列模型已在即梦AI内测版中开启小范围测试,旨在收集宝贵的用户反馈,并不断优化产品性能。

发表评论

快捷回复: 表情:
评论列表 (暂无评论,436人围观)

还没有评论,来说两句吧...

目录[+]