ECCV 2022 SSP： 自支持匹配的小样本任务新思想
2022-08-07 20:09:16
这是咱们正在 ECCV 2022 上的新职业，第一次（to my best knowledge）正在小样本使命中提出了自援手成家（self-support matching）的思念，并将其用正在小样本割裂（Few-shot semantic segmentation, FSS）使命中，用很别致的念法和很简陋的设施博得了很好的后果，没有特别参数，模子很小，演练和测试都很速。同时也指望可能把咱们的自援手成家念法使用到其他合联使命中。代码仍然开源。
看待一个感兴致的宗旨新种别，小样本割裂算法通过给定的援手图片对盘问图片中的宗旨新种别举行割裂。个中，对每个宗旨新种别来说，正在演练聚集没有涌现或者没有标注，且正在测试时对应的样本数目唯有少数几张图片（平常低于 10 张）。
经典的小样本割裂算法是永诀正在援手图片对盘问图片上提取特点，并欺骗 Masked Average Pooling 操作和 support GT mask 正在援手图片特点上天生援手特点原型。终末准备援手特点原型和盘问图片特点每个空间地位特点之间的余弦似乎度（cosine similarity），并将这个 cosine similarity map 动作预测的割裂结果。完全流程如图 0 左图所示。
小样本割裂使命存正在一个特地主要的题目，便是 support 和 query 间的 appearance gap。正在 support 和 query 中的同种别物体不妨存正在特地大的外观分歧性。比宛若样是猫这个种别，然而分别的猫的种类、样子和影相的光照条款等不妨十足不相似，如图 0 右图所示。这一题目源自于小样本使命的特色，即数据萧疏性和数据众样性。
个中数据萧疏性是指 support 数据很少，寻常每个新种别唯有不到 10 个样本，而数据众样性是指 query 的数目是无尽无尽的。因此 support 中的物体基础无法涵盖全数 query 中的同种别物体。如图 0 左图所示，support 是加菲猫的猫头，query 是一整只黑猫，古代的成家算法只可将黑猫的猫头割裂出来，由于两者具有语义似乎性，然而加菲猫猫头与黑猫的身体具有较大的分歧性，所以无法获得令人满足的割裂结果。
之前的设施也留心到了这个合节题目并试图处分它。有的设施试图练习更好的援手特点原型：欺骗未标注图片获得更好的援手特点原型[1,2]，或者提出庞杂的援手特点原型天生模块，如欺骗留心力机制[3,4]和自符合练习[5,6,7]等。也有些设施提出更好的演练格式[8,9]来擢升成家后果。然而这些设施都无法从基础上处分 support 和 query 之间的 appearance gap 题目。由于它们还都局部正在欺骗特地少数的 support 去割裂无尽的 query。
咱们提出了一种全新的自援手小样本割裂算法。其思念是欺骗盘问特点原型去成家盘问图片特点。个中盘问特点原型是欺骗高置信度的 query prediction mask 提取对应的盘问图片特点获得的，而 query prediction mask 则是由古代 support-query 成家算法天生的。由于这种 query 特点的自成家本质，咱们将设施定名为自援手（self-support）算法。
自援手成家念法源自于体式塔外面（Gestalt principle），即物体的全部性：相看待分别物体上的分别个别，统一个物体上的分别个别会更像。为了验证这一念法，咱们统计了 Pascal VOC 数据聚集的图片分别像素之间的似乎度，其特点是用 ImageNet 上预演练的 ResNet-50 提取的。
如外 1 所示，看待前景像本来说，雷同物体上的前景像素之间的似乎度伟大于分别物体上的前景像素之间的似乎度。咱们正在靠山像素上也察看到雷同的景色。然而这里验证的是像素之间的联系，而咱们的宗旨是举行特点原型 support prototype 和盘问图片特点 query feature 之间的成家。因此咱们欺骗另一个试验进一步验证咱们的自援手念法。
如外 2 所示，咱们运用古代的援手特点原型（从 support 图片中提取的 support prototype）和自援手特点原型（从 query 图片中提取的 self-support prototype，由于咱们清爽 query GT mask），永诀与盘问图片特点举行成家。自援手特点原型的成家结果可能抵达 83.0 mIoU，比援手特点原型的成家结果高近 25 个点。
然而正在实质运用中，咱们不不妨清爽 query GT mask，因此咱们人工地修设分别巨细的 query GT mask 并引入噪声来模仿预测获得的 query mask。正在这种情景下，自援手特点原型的成家结果已经高于74 mIoU。这两个试验很好地援手了自援手成家的念法。
设施个别很简陋，如图 2 所示，咱们通过古代的 support prototype based matching 天生初始的 query mask，并欺骗 query mask 正在盘问图片特点上提取自援手特点原型。终末将自援手特点原型和援手特点原型调解并与盘问图片特点举行成家。同时咱们可能举行众次的自援手成家对自援手特点原型举行优化。
第一个所长是自援手算法会加倍受益于更好的 backbone 和 support 数目，由于它们可能带来更精确的初始 query mask 预测结果，可能提取更精确的 self-support prototype，进而获得更好的割裂结果。这是一种马太效应，所以咱们的设施正在 ResNet-101 backbone 和 5-shot support 的修设下会大大优于其他的算法。同时外 8 也呈现了自援手算法正在分别条款下的机能擢升幅度。
第二个所长是更高置信度的预测结果。割裂算法会运用阈值将预测结果中的贯串 [0,1] 值变为 0-1 值，然而初始的预测结果质地也很主要，更加是看待繁难样本。借使预测值正在 0.5 邻近，这个点上的预测就很容易凋落。咱们指望获得加倍鲁棒和高置信度的预测结果。所以，咱们运用 MAE 对预测结果的贯串 [0,1] 值举行评估。如图9所示，咱们的算法可能获得更低的 MAE，这意味着咱们的预测结果具有更高的置信度。外 9 和外 10 显示咱们的算法对其他花样的 support 标注也很鲁棒。
第三个所长是自援手算法特地通用，没有特别的参数目，且特别的准备量也很小，模子很小，演练和测试都很速，并可能直接使用正在其他的小样本割裂算法上。如外 11 所示，咱们将自援手算法用正在 PANet 和 PPNet 上，都获得了机能的擢升。
自援手成家这个念法是我正在 DDL 前念到的，即刻发轫去做，然而当时做的并没有用果，于是放置了几天。然而我感触这个念法必然可行，因此我又回过头来从新斟酌了通盘设施，发觉是我正在欺骗 query mask 选用 query feature 的时间存正在题目。我最滥觞是运用 0.5 动作阈值选用 query feature 的，然而会引入对照众的噪声。后面我就试验擢升阈值到 0.7，设施就马上有用了。
因此自援手的合节点便是选用尽不妨众的高置信度的 query feature 去天生高质地的 self-support prototype。通盘项目从滥觞到了结总共花了 6 周的期间，设施很简陋，然而念法很别致，指望对 few-shot 界限有所开导。自援手成家这个念法正在 few-shot 界限是很少或者没有被探求过的。可能把自援手的念法施行到其他的 few-shot 使命中。由于 support 和 query 之间的 appearance gap 是 few-shot 中广泛存正在的主要题目。
感动三位教练的向导，感动 Lihe Yang @LeolhYang 的很好的职业 MLC[1]和供给的很强的 baseline，感动女票的援手，感动我家小加菲猫菲菲出演 teaser 图片中 support。终末祝民众找职业都能拿到 SSP。
何如才具让更众的优质内容以更短途径抵达读者群体，缩短读者寻找优质内容的本钱呢？谜底便是：你不领会的人。
总有少少你不领会的人，清爽你念清爽的东西。PaperWeekly 恐怕可能成为一座桥梁，促使分别靠山、分别偏向的学者和学术灵感彼此碰撞，迸发出更众的不妨性。
PaperWeekly 荧惑高校试验室或一面，正在咱们的平台上分享各样优质内容，可能是最新论文解读，也可能是学术热门分析、科研心得或竞赛阅历疏解等。咱们的宗旨唯有一个，让学问真正滚动起来。
• PaperWeekly 尊敬原作家签字权，并将为每篇被接受的原创首发稿件，供给业内具有竞赛力稿酬，完全按照著作阅读量和著作质地阶梯制结算