线稿上色的新技术​MangaNinja：输入线稿和参考图，精准给线稿上色

一项名为 MangaNinja 的线稿上色方法引起了广泛关注，只需输入线稿和参考图，就能依据参考图给目标线稿上色。这项技术基于扩散模型，专注于参考图像引导的线稿上色，极大地提升了上色的精准度和互动控制能力。

研究团队通过两项创新设计，确保了角色细节的精确传递。首先，他们引入了一个补丁重排模块，以促进参考彩色图像与目标线稿之间的对应学习。其次，采用了点驱动的控制方案，使得用户可以对颜色进行精细匹配。

在他们的实验中，研究人员构建了一个自收集的基准数据集，并与现有的上色方法进行了比较，结果表明 MangaNinja 在上色准确性和生成图像质量上显著优于其他方法。这种方法的一个重要特点是，它能够在生成结果中不依赖于点的引导，依然实现高质量的上色效果。

MangaNinja 在处理一些具有挑战性的场景时显示了其独特的优势。比如，在面对角色姿势变化大或细节缺失的情况下，点引导能帮助解决这些问题。当涉及多个对象时，点引导还能够有效防止颜色混淆。此外，用户可以通过选择多个参考图像的特定区域来进行多参考图像的上色，从而为线稿的各个元素提供指导，并有效解决相似视觉元素之间的冲突。

该技术还支持在使用不同参考图像时，实现语义上的颜色匹配和精细控制。研究人员相信，这种互动式的上色方式能够帮助用户在上色过程中找到灵感，并提供更多的创作可能性。

项目:https://johanan528.github.io/MangaNinjia/

github:https://github.com/ali-vilab/MangaNinjia