视频生成模型专题报告（18页）

行业报告下载 2026年09月30日 08:10 管理员

核心流程：1）构建统一视觉表征。训练阶段，Sora 通过视觉压缩网络将图像和视频从像素空间映射到经过空间和时间压缩的潜在空间，再将潜变量切分为一系列时空 Patch，作为 Transformer 处理的视觉 Token。2）构建文本与视觉条件。训练阶段， OpenAI 利用视频描述模型为训练视频生成更加详细的文字标签，以提高文本与视频内容的对应关系。生成阶段，GPT 会将用户的简短提示扩展为更完整的描述。3） Diffusion Transformer 迭代去噪。训练阶段，模型接收带噪声的时空 Patch，并在文本等条件引导下学习预测原始的干净 Patch。文生视频时，模型根据目标视频的时长、分辨率和宽高比，排列相应规模的随机初始化 Patch 网格，再通过扩散去噪逐步生成视频潜变量；图生视频和视频生视频则在输入图像或视频的条件下完成动画化、延展或编辑等任务。4）解码输出视频。生成完成后，视频潜变量通过对应的解码器映射回像素空间，形成最终视频。

视频生成模型专题报告（18页）-第1张图片