IC-Light V2更新升级,升级为IC-Light V2-Vary

GitHub:https://github.com/lllyasviel/IC-Light/discussions/109

技术报告:https://openreview.net/pdf?id=u1cQYxRI1H

在线演示:https://huggingface.co/spaces/lllyasviel/iclight-v2-vary

主要改进
  1. 光照变化能力增强
    • 模型在光影处理方面有显著提升,可以更灵活地调整光源位置和强度,生成不同光照效果的图像。
    • 针对需要复杂光影变化的用户,提供了更丰富的操作空间。
  2. 细节保留能力提高
    • 相较于之前版本,V2-Vary 对输入图像细节的保留能力更强,减少了调整光影时图像内容的丢失或扭曲。
    • 适合对细节要求较高的图像处理任务,例如人像摄影后期处理。
  3. 多样性输出优化
    • 输出图像的多样性得到加强,可以生成不同风格和特征的光影效果。
    • 特别适用于艺术创作和专业光影效果模拟。

这些改进使得 IC-Light V2-Vary 更加适合需要强光影效果和细节处理的用户,如摄影师、设计师及3D建模专业人士,同时为艺术创作者提供了更多可能性。

Examples 示例

Input image: 输入图像:

输出比较(查看改变光影的能力):

输入输出比较(查看详细保留级别):

Screenshots: 截图:

 

 

IC-Light的主要功能特点

IC-Light 是一种用于扩展基于扩散模型的光照编辑训练的方法,旨在解决复杂光照场景中的图像生成和编辑问题。其主要功能包括:


1. 光照一致性约束

  • 核心原理
    • 基于物理光传输理论,确保物体在不同光照条件下的表现可以线性组合。
    • 保证混合光照下的表现与单独光照条件下的线性叠加一致。
  • 功能
    • 通过光照一致性约束,模型能够在编辑光照时保持图像本质属性(如反射率、纹理等)不变。
    • 减少不必要的图像伪影,确保输出结果与实际物理光照条件一致。

2. 大规模数据支持

  • 支持超过 1000 万样本的训练数据,包括:
    • 真实光照数据:例如光照舞台的单光源实验数据。
    • 3D 渲染数据:通过渲染技术生成的多光照条件图像。
    • 自然场景增强数据:通过增强真实图像光照效果,生成丰富的训练数据。
  • 功能
    • 适配多种数据来源,增强模型处理多样化光照场景的能力。
    • 扩展模型泛化能力,支持从自然光照到复杂艺术光照的多场景应用。

3. 精确光照编辑

  • 支持各种复杂光照条件的编辑,包括:
    • 自然光效:如阳光穿过百叶窗、树荫投影等。
    • 艺术光效:如魔法金光、霓虹灯等特殊效果。
    • 背景协调:根据背景调整光照,使得前景与背景协调一致。
  • 功能
    • 提供精确的光照调整能力,适用于各种场景需求。
    • 确保生成结果中光照效果与图像整体风格和谐。

4. 图像本质属性保持

  • 修改光照的同时保持图像内在特性,如:
    • 反射率(Albedo):维持原始图像的颜色和反射特性。
    • 细节保真度:保留原图中的纹理细节和形状特性。
  • 功能
    • 避免因光照调整导致的图像失真。
    • 提高生成图像的质量和真实性。

5. 支持高性能模型骨干

  • 支持多种扩散模型框架,如:
    • Stable Diffusion 1.5/SDXL:用于高分辨率图像生成。
    • Flux 模型:适用于处理大规模和复杂数据的任务。
  • 功能
    • 通过适配多种强大模型骨干,增强方法的适用性。
    • 支持更高分辨率和更复杂场景的生成。

6. 灵活应用于多场景

  • 提供多种应用功能,包括:
    • 法线图生成:根据光照条件生成高质量法线图,用于3D渲染和增强现实(AR)。
    • 艺术光效设计:支持艺术化的光照效果生成,满足创意设计需求。
    • 背景感知光照协调:根据背景调整图像光照,提升整体协调性。
  • 功能
    • 实现从技术到艺术的多样化应用,适应不同领域需求。

7. 优化训练流程

  • 结合多种数据源的优化训练方法:
    • 数据采样概率动态调整,逐步提升高质量光照数据在训练中的比例。
    • 灵活的学习目标设计(如光照一致性损失)确保模型学习效果。
  • 功能
    • 提高训练效率,减少模型在大规模数据上的偏差。
    • 实现更高质量的光照编辑模型。