AI视频生成研究报告-由检索生成、局部生成走向依靠自然语言提示词的全量生成

技术趋势:视频生成正在由检索生成、局部生成走向依靠自然语言提示词的全量生成,生成内容更加灵活丰富,应用空间广阔

检索生成主要是对现有的视频素材根据关键词和标签进行检索匹配,再进行相应的拼接和排列组合

特点

1 采用传统的跨模态视频检索技术,通过视频标 签的或者视频语义理解的方式从数据库中的检 索,再将这些素材进行剪辑、组合拼接在一起, 本质上还是键值对匹配的逻辑

2 例如短视频平台的知识类视频、解说类视频, 通过文本关键字在数据库中进行素材检索,然 后在进行拼接组合生成

3 创意空间有限,没有贡献增量素材,但成本极 低,生成速度极快

仅针对视频的一部分进行生 成,例如视频中人物角色、 动作、背景、风格化、特殊 效果等

特点

1 采用传统的计算机视觉(Cv)、计算机图形学 (CG)技术,但生成功能有限,主要是一些局 部的垂点功能

2 例如效果生成,在现有视频上添加多种效果, 如滤镜、光影、风格化、美颜特效等。也可以 做局部动态化,如人物的面部表情生成、搞笑 表情、爆款特效、舞蹈动作生成等

3 有一定创意空间,生成部分新元素,成本低但 应用的场景有限

通过文字、图片、视频作为提示 词来进行凭空生成,不依赖外部 素材,核心在于大模型的能力

特点

1 采用基于Transformer或者扩散模型的大模型路 线,可以通过自然语言或者指导图进行全局生成 (但也可以嵌入已有内容),视频的内容、风格、 长短、分辨率、宽高比都可以进行灵活调整

2 例如生成天马行空的创意视频、艺术视频、卡通 视频等等,非常灵活

3 创意空间无限,所有的元素都是全新生成,现 阶段成本高昂,但天花板高,应用场景广泛

附件：AI视频生成研究报告-由检索生成、局部生成走向依靠自然语言提示词的全量生成