Stability AI发布了一款名为 Stable Zero123的全新 AI 模型,该模型能够根据单张图片生成高质量的3D 物体视图。Stable Zero123在生成的效果上显著超越了其前身 Zero123-XL,主要得益于三个关键创新。
Stable Zero123采用了一种经过严格筛选的训练数据集,这些数据集来自 Objaverse,专门保留了高质量的3D 物体。这一改进确保了生成的3D 物体更加逼真。
在模型的训练和推理过程中,Stable Zero123使用了估计的相机角度进行 “升高条件”(elevation conditioning),这一技术使模型能够进行更准确的预测,显著提升了生成图像的质量。Stable Zero123还引入了一种预计算数据集和改进的数据加载器,使得训练效率提高了40倍。
Stable Zero123目前已在 Hugging Face 上发布,供研究人员和非商业用户下载与实验。需要注意的是,该模型的使用受到一定的授权限制,分为两种版本:Stable Zero123和 Stable Zero123C。前者包含了一些 CC-BY-NC 授权的3D 物体,仅可用于研究用途;后者则仅使用了 CC-BY 和 CC0授权的物体,允许拥有Stability AI 会员的用户进行商业使用。
此外,Stable Zero123还与开源代码 threestudio 相结合,支持3D 物体生成的开源研究。当前,相关的简化版 Stable3D 流程正处于私密预览阶段。通过这种方法,用户可以利用 Score Distillation Sampling(SDS)优化神经辐射场(NeRF),从 Stable Zero123模型生成的图像中构建出纹理丰富的3D 模型。
Stable Zero123的发布不仅为3D 物体生成领域带来了显著的技术进步,还为研究和商业应用提供了新的可能性。
官方博客:https://stability.ai/news/stable-zero123-3d-generation