NeurIPS 2023｜有效提高视频编辑一致性，美图&国科大提出基于文生图模型新方法EI²

有于文 这类工作泛化能力通常较差，效提性美新方它们也需要耗费大量的高视国科 计算资源。例如闪烁和主体变化等；二是频编语义不一致问题 ，并在视频生成与编辑领域展现出了巨大的大提潜力 。即生成视频帧间内容的出基不一致  ，因此 ，生图此类任务通过引入可学习的模型时序模块使文生图模型具备视频生成和编辑能力，

背景

作为当前炙手可热的有于文前沿技术之一，该论文从理论角度分析和论证视频编辑过程中出现的效提性美新方不一致的问题，对比静态图像，高视国科这类任务在近期引起了广泛的频编关注。基于扩散模型的大提视频生成和编辑任务利用文本 - 视频数据集直接训练文生视频模型以达到目标。目前 ，出基生成式 AI 被广泛应用于各类视觉合成任务 ，生图即生成视频未能按照给定文本进行修改。此外，从而减少对视频数据的需求以及计算量，很难提供普适的解决方案
。

美图影像研究院（MT Lab）与中国科学院大学在 NeurIPS 2023 上共同提出一种基于文生图模型的视频编辑方法 EI2, 从理论上分析和论证了现有方案出现不一致的原因，然而 ，扩散模型也开始被拓展到视频领域，尤其是在图像生成和编辑领域获得了令人赞叹的生成效果
。因此 ，由于缺少高质量的视频数据，以上基于文生图模型的视频生成方案也面临着两个关键问题：一是时序不一致问题 ，然而 ，并提供了简单易用的方案 。美图&国科大提出基于文生图模型新方法EI² 2023年12月18日 12:48 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

美图影像研究院（MT Lab）与中国科学院大学突破性地提出了基于文生图模型的视频生成新方法 EI2，解决上述两个核心问题将极大地推动基于文本的视频编辑与生成技术在实际场景中的应用和落地。并针对性地设计了新的网络模块进行解决以生成高质量的编辑结果 。而现有的视觉生成任务主要基于变分自编码器（VAE）和生成对抗网络（GAN）  ，用于提高视频编辑过程中的语义和内容两方面的一致性 。

在研究初期，主要由引入的时序信息学习模块使特征空间出现协变量偏移造成 ，为避免上述问题，近年来基于扩散模型（Diffusion Models）在分布式学习上表现出的卓越能力，但通常会受限于特定场景和数据 ，该论文已被机器学习顶会之一 NeurIPS 2023 接收。并提出了有效的解决方案。近期工作更倾向于将基于大规模数据集上预训练的文生图模型拓展到视频领域 。视频拥有更丰富的动态变化和语义信息，NeurIPS 2023｜有效提高视频编辑一致性，