心中无码：这是一个能自动脑补漫画空缺部分的AI项目
2022-08-03 17:34:18
图像修复正在利用上至极吸引人，一样计划师须要应用 Photoshop 依照图像边际修复空白个人。这一流程至极耗时和细腻，于是很早就有考虑实验应用呆板进修模子主动化这一流程。这篇著作先容了 DeepCreamPy 项目，它可能主动修复漫绘图像中的空白个人和马赛克。该项目首要基于几个月前 Nvidia 提出应用个人卷积修复图像不规矩空白的考虑。
本文将扼要先容这项考虑与 DeepCreamPy 告终项目，读者可下载项目代码或预修建的二进制文献，并实验修复漫绘图像或马赛克。这一个项目可能直策应用 CPU 实行猜度，Windows 用户乃至都不须要装置境况都可能直接运转预修建的文献修复图像。
图像修复工作可用于众种利用。好比用于图像编辑：移除不须要的图像内容，用合理的图像内容弥补移除后的空白。之前的深度进修要领都聚焦正在图像中央的矩形区域，往往依赖腾贵的后打点。而 DeepCreamPy 项目基于的要领提出一种图像修复的新模子，可正在不规矩的空白形式上鲁棒地天生成心义的预测（图 1），预测结果与图像其余个人完满契合，无需实行特地的后打点或混杂操作（blending operation）。
近期不应用深度进修本事的图像修复要领均应用图像糟粕个人的统计音信来弥补空白。此刻最优要领之一 PatchMatch [3] 迭代地搜刮最适合的图像块来弥补空白。虽然该要领天生的结果一样较为畅达，但它受限于可用的图像统计音信，且不具备视觉语义学的观点。比方，正在图 2（b）中，PatchMatch 或许应用来自边际暗影和墙体的图像速畅达地弥补画作的空白个人，然则语义感知要领愚弄的是来自画作自己的图像块。
深度神经收集以端到端的格式进修语义优先（semantic prior）和成心义的秘密外征，这仍然用于近期的图像修复职责。这些收集对图像采用卷积滤波器，用固定值取代缺失的内容。结果，这些要领依赖于初始空白的值，初始空白的值一样发挥为空白区域缺乏纹理和分明的颜色对照或空白边际的人工周围反应。图 2（e）和 2（f）显现了使器材备差别空白值初始化的模范卷积层的 U-Net 架构的例子（两者的陶冶和测试应用同样的初始化计划）。
许众近期要领的另一个弧线是只体贴矩形空白个人，一样位于图像中央。本文先容的考虑浮现这些缺陷不妨导致对矩形空白个人的过拟合，最终限度这些模子的利用可用性。Pathak 和 Yang 等人假设一个 128×128 图像的中央处有一个 64 × 64 的正方形空白个人，而 Iizuka 等人进一步移除了这一中央空白假设，或许打点不规矩形势的空白个人，然则无法正在大方具备不规矩 mask 的图像（[8] 中有 51 个测试图像）上履行定量理会。为相识决试验中更常睹的不规矩 mask 题目，DeepCreamPy 项目应用的要领汇集了具备差别巨细的不规矩 mask 的大方图像，并理会了 mask 巨细的影响，以及 mask 与图像范围的相干。
为了稳当打点不规矩 mask，Nvidia 的这项考虑提出了个人卷积层（Partial Convolutional Layer），囊括 mask 和从头模范化卷积操作以及后续的 mask 更新（mask-update）。mask 和从头模范化卷积操作的观点正在 [9] 中指图像离散工作的离散感知卷积（segmentation-aware convolution），但它们错误输入 mask 实行改正。该考虑应用个人卷积，即给出一个二元 mask，卷积结果仅依赖于每一层的非空白区域。该考虑的首要扩展是主动 mask 更新步，其移除随便 mask，个人卷积或许正在 unmasked 值上运转。给出足够众层的接续更新，尽管最大的 mask 空白也能最终被清除，只正在特色图中留下有用反应（valid response）。个人卷积层最终使得该模子不必理会占位符空白值。
用户须要事先应用绿色指定被遮住的区域，这一流程可能用粗略的丹青用具或 Photoshop 等。如下显现了加上绿色 Mask 的「损坏图像」和通过 DeepCreamPy 重构的图像。
原来以前也开源过许众优异的图像修复项目，比方 JiahuiYu 等考虑者实行的 DeepFillv1 和 DeepFillv2，但是 DeepFillv2 继续没有放出代码来。呆板之心也实验过 DeepFillv1，但是它的成效正在给定的测试图像上至极好，而正在咱们供应的图像上成效寻常。
依照 DeepCreamPy 的项目所述，这个 GitHub 项目标重心是可能修复随便尺寸的漫绘图像和随便形势的 mask，同样也能修复漫画中的马赛克，但是这一个人仍是不太安稳。别的，项目作家显露他正正在做可视化界面，说大概过一段光阴就能应用可视化界面尝尝漫绘图像修复的威力。
目前项目作家仍然揭晓了预修建的二进制文献，Windows 体系只须要下载该文献就可能直接运转。当然其它体系同样可能依照该项目运转预陶冶模子，或者直接从头陶冶该模子。
首要的是，仅运转猜度流程修复图像并不须要 GPU 的援手，况且也仍然正在 Ubuntu 16.04 和 Windows 64 位体系获得测试。这个项目应用的 TF 1.10 版是正在 Python 3.6 中实行编译的，于是它并不与 Python 2 或 3.7 兼容。思要试一试的读者可能运转以下代码装置项目所须要的库：
对付你思修复的每个图像，应用图像编辑软件（如 Photoshop 或 GIMP）将你思修复的区域的颜色涂成绿色 (0,255,0)。激烈推举应用铅笔用具，不要用刷子。假如你没用铅笔，那么确保你所应用的用具闭上了抗锯齿（ANTI-ALIASING）成效。
作家本人应用的是 wand selection 用具（闭上了抗锯齿成效）来采选空白区域。然后稍微扩展选中区域，并正在选中区域上应用绿色 (0,255,0) 的油漆桶用具。
和修复条形空白相似，履行同样的着色步调，将着色后图像放入 decensor_input 文献夹。别的，将原始、未着色图像放入 decensor_input_original 文献夹，并确保每个原始图像和着色后版本名称相似。
摘要：基于深度进修的现有图像修复要领愚弄模范卷积收集修复受损图像，应用以有用像素以及 mask 区域中的取代值（一样为均匀值）为要求的卷积核反应。这种做法一样会导致图片显示色差和恍惚等题目。后打点一样被用于裁减此类题目，但价值腾贵且存正在铩羽的危机。咱们提出应用个人卷积收集，此中卷积被掩蔽并从头归一化为仅以有用像素为要求。咱们还包括了一种机制，可主动为下一层天生更新的 mask 举动前向传达的一个人。对付不规矩 mask，咱们的模子优于其它要领。咱们通过与其它要领实行定性、定量对照对咱们的要领实行了验证。