StereoCrafter：输入2D视频转3D视频效果

腾讯 AI 实验室与腾讯 PCG 的 ARC 实验室联合推出了一种名为 StereoCrafter 的新框架，该框架可以将普通的2D 视频转换为高保真的立体3D 视频。

项目入口:https://stereocrafter.github.io/

这一创新响应了对3D 内容日益增长的需求，尤其是在沉浸式体验领域。StereoCrafter 充分利用了基础模型的优势，克服了传统转换方法的局限，显著提升了生成效果，确保生成内容能够满足各种显示设备的高保真要求。

该系统的核心分为两个主要步骤。第一步是基于深度信息的视频重新贴图，提取遮挡信息的同时进行视频变换;第二步则是立体视频的修复。系统采用了经过预训练的稳定视频扩散模型作为基础，并引入了针对立体视频修复任务的微调协议。为了处理不同长度和分辨率的视频输入，团队还探索了自回归策略和切片处理技术，确保系统能够灵活适应各种输入条件。

为了支持训练，该团队建立了一条复杂的数据处理流水线，生成了大规模、高质量的数据集。在数据集构建过程中，研究团队从大量的立体视频中进行挑选，并生成相应的视频深度、变换后的视频和遮挡信息，确保右侧视频作为真实的基准。这些创新方法为将2D 视频转化为3D 视频提供了切实可行的解决方案，使得 Apple Vision Pro 和其他3D 显示设备能够呈现更为精彩的沉浸体验。

StereoCrafter 不仅在技术上取得了突破，也为数字媒体的体验方式带来了潜在的变革，可能会改变我们观看和体验数字内容的方式。