CVPR2018 ReID论文简评
2022-05-25 09:18:54
本文提出了一种针对付ReID的天生反抗收集PTGAN，能够杀青分别ReID数据集的行人图片迁徙，正在保障行人本体前景稳固的情形下，将后台转换成祈望的数据集style。别的本文还提出一个大型的ReID数据集MSMT17，这个数据集席卷众个时辰段众个场景，席卷室内和室外场景，是一个出格有离间的数据集。论文用PTGAN来缩小分别数据集间的domain gap，并正在新提出的MSMT17这个大数据集和其他极少公然的小数据集上做了实践。
MSMT17是一个大型的ReID数据集，现正在的极少公然数据集简直凿度曾经被刷得很高，这个数据集的提出进一步延续了ReID的生长。不外数据集目前另有公然，守候论文吸取后数据集能够公然。
Person Transfer GAN (PTGAN)是作家提出的一个针对付ReID题目的GAN。这个GAN最大的特征即是正在尽也许保障行人前景稳固的条件下杀青后台domain的迁徙。起初PTGAN网途的失掉函数席卷两个别：
本文提出了一种天生出格真正的新样本图像的手腕。该手腕的流程重要有两步：第一步先用一个众分支收集把图像剖释成三个因素（模样、前景和后台）并分离编码特色；第二步用反抗形式研习三个对应的映照函数，把高斯噪声映照到研习的嵌入特色空间。操纵现有的收集便能够获得图像的这三个因素，而且能够采样新的嵌入特色来天生新的主意图像，使得天生流程越发可控。论文正在Market1501和Deepfashion数据集上都做了实践，结果显示天生的样本不单很真正，举动熬炼数据还能够ReID模子的职能。
Stage-II相对来说对比大略，根本都是和stage-I共享的布局。起初操纵stage-I获得的三个编码feature，分离参与一个高斯噪声获得新的feature，然晚进程一样decode收集获得重修和pose和图像。天生的样本进程一个天生反抗收集来推断是否是真的样本。进程一段时辰熬炼，便能够获得一个很真正的样本。
这篇作品很大的立异点是把图像天生流程剖释开，将一幅行人图像剖释成模样、前景和后台，然后分离编码解码来重修。大个别技巧都是现有的，可是确实出格趣味，而且直观上就感触能work，天生图像的成就也很真正。当然，作品说天生的样本能够升高ReID简直凿度，不外因为baseline太低因此参与价钱会打点扣头。以下是极少天生的示例：
论文先给出了一个用ReID做MTMCT的pipeline。这个pipeline和大家半人做法相同，先将人检测出来，然后用ReID模子提取特色，之后遵循特色好像度将单摄像头和众摄像头轨迹闭系起来。
论文针对付Triplet loss提出了一个新的改革计划，此中重要席卷两个特质：自适宜的权重和新的难样本发现手腕。起初论文阐述了最盛行的Triplet loss和TriHard loss，以为Triplet loss对付batch里的每一对正负样本对都是不分畛域，权重是一样的1/N；而别的一个改革版的TriHard loss则是挑选batch里最难的正负样本对，即唯有一对正负样本对的权重是1，其他都是0。论文提出了一种新的自适宜权重手腕，起初筹划每对样本对特色之间的隔绝，然后遵循隔绝做一个softmax归一化。对付负样本对，隔绝越小的样本对则权重越大；同理，对付正样本对，隔绝越大的样本对则权重越大。云云能保障难样本对所占的权重较大，而且每对样本对都插足了loss的筹划。
论文第二个改革点是变换了样本对挑选的形式，守旧的Triplet咱们都是从熬炼样本中随机构成。论文将hard mining的思念进一步扩展到搜集样本这一枢纽。针对付每一个ID，论文挑选出极少出格好像的负样本构成样本池，当熬炼模子挑选样本的光阴，就挑选这些出格难分辨的样从来当Negative。这种做法就进一步的深化了hard mining的思念。结果显示也吵嘴常有用。
相对付ReID，MTMCT个别没有太众外面上的立异，更众的是一个别例上的集成。起初要确定分辨正负样本对之间的阈值，论文分离筹划了悉数正样本对和负样本对之间隔绝的均匀值，然后正在这两个值之间去了个中央值举动推断是否是统一个体的阈值。当然，论文还利用了一个线性运动模子来臆想运动闭连性，实在细节能够看原文。最终，操纵熬炼的外观和运动两个特色，再加上跟着时辰衰减的一个权重系数，便能够获得一个模子。这个模子有几个待求解的参数，通过正在熬炼集上最大化跟踪确凿度，便能够获得这几个参数。之后，操纵这个熬炼好的跟踪模子，便能够获得一段段小的轨迹。研究到这些轨迹还吵嘴常零落的，论文利用一个1S的划窗将IoU大于50%的轨迹维系起来。
这篇论文是一篇video based的person ReID的任务。和大个别video based的任务相同，该论文重要纠集正在提取时空两个倾向的attention。起初，和守旧的分块提取片面特色不相同，论文利用一个spatial attention收集自愿提取首要的部位，而且还设定极少管束保障可以提取若干个分别的部位。然后针对付每一个spatial attention的部位，正在时辰轴提取temporal attention。最终统一时空两个倾向的attention获得最终的feature。
针对付序列内部帧数不团结的题目，论文利用一种现有的手腕采样到一样的帧数。进程一个Resnet50收集，每帧图像都能够获得一个 8×4×2048的feature map。feature map进程一个大略的model（包蕴几层线性变换和softmax归一层），便能够获得一个明显性对比强的区域。假使有K个云云的model便能够获得K个云云的区域，可是题目是这K个区域也许会反复。为知道决这个题目，有些论文利用KL散度来器量两个区域感觉野之间的闭连度。可是论文提出进程softmax之后，KL散度熬炼并不牢固。于是照旧用Hellinger隔绝闭连的函数来筹划好像度，有了好像度的管束，便能够获得K个独立的分别区域，即音信量对比首要的spatial attention区域。然后将spatial attention映照回去，能够获得K的spatial gated feature。
从论文揭示的可视化结果来看还吵嘴常牢靠的，收集学到了几个出格首要的spatial区域，而且temporal attention也能给首要的帧打上高权重。正在MARS上博得了82%把握的rank-1。固然作家声称超越了SOTA，可是个体观念是现有video based的person ReID处于一个很尴尬的现象，即是用一个目前最好的single image的ReID模子预测悉数frame的feature，然后大略地取个均匀能够毫无驰念吊打种种繁复的video based的手腕。不外video based是一个很首要的钻研题目，不行仅仅用accuracy来量度全豹。
总体来说这篇论文对比好明确，论文重要有两个功劳：1、将模样音信融入到ReID中；2、安排了一个新的无监视的re-ranking手腕。
PSE收集的输入总共有17个通道，分离是3个通道的RGB图像和14个通道的pose臆想结果。收集有一个视角分支，会分离臆想front、back和side三个视角的概率，然后将这个概率和三个视角的feature map实行加权获得最终的feature map。收集熬炼也对比大略，利用最根本的softmax分类失掉。
操纵GAN收集来天生ReID图片是比来很火的一个子倾向，该论文提出一种叫做SPGAN的新收集。比拟于其他的GAN手腕，SPGAN最大的特征是将图片天生和ReID loss集合正在沿途，来管理ReID内部的domain bias题目。SPGAN能够将一个正在source domain熬炼好的ReID模子，正在无任何非常标注的情形下， 无监视地迁徙到新的target domain，升高ReID正在target domain的职能。
SPGAN的底部是一个CycleGAN收集，顶部是一个Siamese收集。最终，统统收集的loss为：
论文提出了SPReID，通过一个预熬炼的Human Semantic Parsing收集获得person图像的每一个语义个别。之后将图片分为前景、头部、上身、下身和鞋子五个个别，提取每个个别的片面特色。总体来说对比大略也对比容易念到，当然直观上也是可以work的。
SPReID收集有两个分支，一个是寻常的ReID分支，别的一个语义瓜分分支。对付语义瓜分分支，SPReID正在刚揭橥不久的Look into Person (LIP)上预熬炼，最终获得五个语义个别：前景、头部、上身、下身和鞋子。之后将语义瓜分获得结果和ReID分支获得的feature map相乘，再进程global pooling分离获得五个feature，然后concatenate到沿途获得最终的feature。总体来说照旧对比大略的。
Cascaded CNN曾经正在许众CV题目上博得了告捷，论文基于Cascadedi思念提出了BraidNet。BraidNet的根本单位是Wconv Block，然后串联了众个Wconv，来研习越发鲁棒的特色。另外，因为ReLU激活函数正在负半轴存正在零梯度的地步，论文以为这种零梯度倒霉于收集熬炼。所以论文还提出了Channel Scaling (CS) layer来管理这个题目。最终，为知道决熬炼样本中正负样本对不均衡的题目，论文提出了Sample Rate Learning (SRL)计谋。
WConv是BraidNet的Basic Block，包蕴两个卷积模块P/Q。输入的两张图片的feature map分离进程P和Q获得四个feature map，然后交叉加起来。即把两个分别的feature map进程两个分别Conv的结果加起来。闭于道理阐述，论文花了更大篇幅从外面上证据，详情照旧去看原论文。当然个体直觉，把输出的两个feature map减一减就很好明确了，减一减就会浮现是两个feature map分歧的线性叠加，再加上是用比照失掉熬炼，就更好明确了。
之后BraidNet串联了众个Wconv，论文给出的声明是：串联不单能够提取单图像众个标准上的特色，还能够提取两张图片众标准的非对称形式结婚（asymmetric pattern matching）。非对称研习是守旧ReID钻研中很首要的一个钻研倾向。
论文对梯度实行了推导，推导后浮现最终的梯度只和正负样本loss的均匀值相闭，而不会受到batchsize中正负样本数目的影响。而守旧的手腕则会受到正负样本数方针影响，假使正样本数目众，则正样本loss会起主导感化。SRL的特质是比例参数能够能够正在收集熬炼流程中同步更新，比例参数的梯度只与正负样本loss的均匀值相闭，可是收集其他参数的梯度照旧受到正负样本数方针影响。
这篇论文固然每个立异点看上去都很小，可是论文对每一个点都做了周详的外面证据，正在当今炼丹界刊属一股清流。
论文提出了一种众宗旨因素剖释的收集MLFN。行人的特色能够剖释为若干个细粒度的特色，MLFN充满地研究了这个特质，安排了一个众宗旨的因素剖释收集，让收集逐层的去研习行人的潜正在分别因素。最终正在high level将分别level学到了因素特色fusion起来。
MLFN给我一种Multi-level spatial attention的感触，别的论文也没有可视化收集挑选出的Factor。终究work的源由由来于挑选出了有用地Factor，照旧仅仅由于收集布局变得繁复能够提取出更discriminative、更雄厚的feature，不得而知。
PPA总过预订义了三个模样音信，一个是最原始的keypoint的音信，一个是端正的矩形框区域，一个吵嘴刚性的闭节区域。针对三个part音信引出三个分支筹划三个loss，遵循原文臆度该收集大体率是正在MPII模样点数据集上熬炼的，而不是正在ReID数据集上熬炼的。由于ReID模子没有标注模样音信。熬炼好了之后，PPA能够对图片预测三个分别类型的part区域身分，还会预订义好的part区域的可视性实行打分，并传输给下一个收集。
统统模子的熬炼是先独立熬炼一个PPA模子和一个GCN模子，然后固定这两个模子，只操纵他们的前馈结果再正在分别数据集上熬炼AFC的最终几层，从而获得AACN。AACN的ablation study做的很周详，每一个枢纽的improvemet都罕睹据揭示，是值得研习的。
集合行人的Global feature和行人属性特色正在ReID钻研的早期即是一个思绪，可是除了大略的加个属性softmax来大略的管束feature的做法以外并没有特地繁复成熟的做法。论文提出了一种Joint Attribute-Identity Deep Learning (TJ-AIDL)模子，能够统一属性语义音信和图像内容音信实行ReID。因为目前唯有DukeMTMC ReID有对比大方的属性标注，论文正在DukeMTMC ReID实行了监视研习。而且熬炼的模子正在别的的几个数据集上也去了很好的无监视结果。
论文的framework照旧对比好明确的，正在众个标准上提取feature map，输入到CSN收集里实行好像度对比。之后统一众个CSN收集的similarity score maps实行ReID loss筹划，席卷比照失掉和分类失掉。
CSN重要照旧套用了STN的思念，STN曾经被证据正在唯有一个前景主意的情形下，能够很好地闭切到图片中最首要的部位，还能够自行定位到若干个分别的首要region。因此CSN即是将STN引入，获得几个首要的region，然后自愿实行特色的对齐，从而获得更好的好像得分图来升高ReID的职能。
这又是一篇pose guided天生图片的论文，motivation是模样bias是ReID中一个很首要的题目，可是有的数据集的模样变动不众，而有点数据集模样变动许众，比方MARS。操纵这个特质，论文利用GAN收集将模样变动少的数据纠集行人图片制出雄厚模样的图片，来熬炼越发鲁邦的ReID模子。这篇作品曾经有人写过简评了，因此我就直接搬过来了~
模样可迁徙行人再识别框架。起初熬炼模样迁徙模块，此中论文引入了「指引」子模块来擢升天生器的职能。然后利用熬炼好的天生器杀青行人模样由源数据集到主意数据集的迁徙，进而擢升行人再识别正在主意数据集上的职能。
假设给定巨细两个数据集，分离称为 A 和 B。此中数据集 A 中笼罩的行人模样少，而 B 中的样本包蕴雄厚的模样。作家提出将数据集 A 中的图片样本与数据集 B 中样本的骨架实行配对，并通过 Skeleton-to-Image 模子天生与 A 中样本共享身份音信且与 B 中样本共享模样的新样本集 C。为了升高天生样本的质地，作家提出了一个与反抗天生收集中的判别器平行的指引模块。指引模块是一个预熬炼好的行人再识别模子，用于指点天生器天生包蕴更雄厚身份音信、更适宜行人再识别使命的样本。正在获得了天生样本集 C 后，作家将其与数据集 A 羼杂并通过腻滑机制分拨样本权重后熬炼模子。实践结果解说此手腕可以与其他高职能手腕 (席卷特色研习、器量研习类手腕) 集合并进一步擢升它们的职能。
因为分别摄像头的拍摄前提不相同，因此ReID数据集存正在Camera Style的分歧。论文是用CycleGAN来研习两个摄像头之间的bias，可以将一个摄像头拍摄的图片迁徙到别的一个摄像头的拍摄气魄。因为天生的图像无法像真正的图像那样传神，论文提出label smooth regularization (LSR)来腻滑label，防备收集熬炼过拟合。
原本挺好明确的，即是加一个腻滑因子，使得天生图片和原型图像是一样ID的概率迫近于1但又不等于1。可视化CycleGAN转化的结果，能够看出确实样本的Camera Style被迁徙过去了。本来绿衣服的人被迁徙到蓝色，可是他们是属于统一个体，外观不相同是由于相机的光彩不类似。彰着这种bias对ReID影响很大，而通过CycleGAN能够减小这种bias。
论文给出了一种新的半监视熬炼ReID的手腕，先以少量标注的样本举动根节点熬炼一个粗拙的ReID模子。然后筹划未标注样本与标注样本间的隔绝，把好像的样本打上一样的label。然后连接熬炼模子，等模子变得更强之后再把剩下对比难的样本加进来。就云云频频迭代直至收集收敛。作品没有做single image的实践，而是正在两个对比大的video数据集上做实践。这篇论文对比好明确，大思绪看一张图就能够明晰，可是有些细节能够去原文看看。
DuATM任务机制依赖一个特色序列，所以起初即是何如提取这个特色序列。对付单帧ReID使命，因为没有时序音信，因此提取的是空间序列。即将feature map依照空间切割实行序列化，然后每一块region悉数channel的feature进程一个FC获得feature sequence。而对付Video-based ReID则大略地众，用一个双向RNN便能够正在时辰轴上编码获得feature sequence。
大框架来说，因为ReID使命也许由于种种因由存正在无法对齐的情形，仅仅利用全部特色彰着不是最佳挑选。DuATM操纵一个dual attention机制来找到图片a中一小块特色正在图片b中最matching的区域，当然杀青形式即是attention手腕杀青的。同理反过来图片b正在图片a中也会做同样的操作。云云对齐今后的隔绝就能更好量度两张图片的好像度。
目前险些悉数的ReID都是基于全身人做的，可是正在室内等场景或者遮挡的情形下，行人也许唯有个别可视，这个题目被称为partial ReID。论文提出了Deep Spatial feature Reconstruction (DSR) 手腕来管理partial ReID的题目。据我所知，这是第一篇操纵深度研习较体例管理partial ReID的论文。
和大个别论文相同，论文先用一个CNN收集对每一张图像提取feature map。为了筹划feature 之间的好像度，大个别任务(a)须要将输入的图像resize到统一个尺寸来获得一样维度的feature vector。可是这种做法会形成图像的scale产生变换，这对付partial ReID来说吵嘴常倒霉的。而极少任务（b,c）为了稳固换feature map的scale，采用划窗或者分块结婚的形式来实行好像度筹划，可是这种手腕须要遍历图像因此效劳不高。为了制服以上污点，论文提出了用DSR的手腕来直接求解两个分别size的feature map好像度。
大个别ReID的任务都是正在一个标注好的小数据集上做熬炼和测试，可是罕睹据集存正在bias，因此这种手腕熬炼的模子并不行很好的适宜大数据量的实践处境。论文提出了一种无监视的TFusion算法，能够将一个source domain熬炼好的模子的时空形式无监视的迁徙到target domain。另外，论文提出贝叶斯统一模子来统一时空形式和视觉特色，以杀青一个更好的分类器。最终，论文还提出了一个基于彼此推进机制的learning-to-rank手腕来优化分类器。
TFusion手腕重要席卷四步。第一步先用source domain标注好的数据熬炼一个还行的ReID模子C。然后遵循这个C正在target domain上臆想出一个时空概率散布。之后统一时空概率散布和模子C输出的视觉特色沿途做ReID，这个叫做统一模子F。最终一步提出一个learning-to-rank的手腕来频频迭代升高F和C的本事。
第一个枢纽是正在source domain熬炼一个ReID模子，这个是对比大略的，和大家半惯例任务的baseline相同，挑选分类ID loss和器量失掉。比照失掉采用的feature的cosine隔绝。
遵循咱们的常识，假使咱们不看两张行人图片的话，要如何去臆想这两张图片是否包蕴统一张人？也许咱们独一可以获取极少线索的音信即是图片的拍摄场所和拍摄时辰，比方统一个相机相邻时辰拍摄的图片很大体率包蕴统一个体的图片，而同偶然间分别相机拍摄的图片包蕴统一个体的概率和视野的重合度闭连。这些都是能够遵循先验音信获得的极少线索。所以论文把这个题目笼统成数学模子：
很彰着，遵循上一接获得的阿谁时空概率散布，很容易念到操纵贝叶斯概率公示剖释上式求解，这里不做赘述。
模子蒸馏是一个出格通俗利用的常识迁徙研习手腕。榜样的手腕是把一个职能很好的大收集或者集成的小收集群的常识迁徙给一个新的收集。本文提出一种正在没有预熬炼收集的情形下实行常识迁徙的互研习（Deep mutual learning，DML）手腕。结果显示正在CIFAR-100图像识别和Market-1501的行人重识别使命上，DML都博得了很好了成就。
DML的核情绪念是期望两个分类器的概率预测散布可以相同，而评议两个概率散布好像度的即是KL散度，也称作相对熵。假设两个分类器分离是$\theta_1$和$\theta_2$，输出的概率散布分离$p_1$和$p_2$，则从$p_1$到$p_2$的KL隔绝界说为：
DML两个子收集是异步更新的，同步更新和异步更新我亲身考试过影响照旧挺大的，固然不是很能声明为什么会形成这个地步，可是是一个挺首要的trick。
所谓异步更新即是指获得一个batch之后，先更新收集1的模子，然后收集1的模子更新完了之后用新的收集1做predict，更新收集2。这个流程是异步的，是用一个batch实行异步更新。算法如下所示：
这篇对比大略，重点点即是统一了众个stage分别分离率的feature，就像CPM的众个stage loss相同。网途分为4个stage，每个stage代外了分别分离率、分别笼统水准的特色。浅层重要闭切片面的细节特色，高层闭切全部的笼统特色。每个stage输出的feature map进程global pooling获得一个特色向量，之后正在监视信号前将悉数的feature统一起来。当然不是均匀统一，而是给每个feature设备了一个权重，而这个权重也是收集熬炼研习获得的。之后的枢纽就和一个寻常的ReID模子差不众。
这是一篇很有胀动性的论文，论文用深化研习来管理multi-shot (video based) ReID的题目。论文的motivation是对付ReID序列而言，大家半的任务都是对悉数帧图像都提取feature，然后统一这些feature，然而对付极少大略的样本，咱们只须要看一两帧图像就能够推断是不是统一个体。论文操纵这个特质，引入深化研习的手腕，安排了一个agent。这个agent能够推断两张图片是否属于统一个行人，假使不确定的话就再进入下一帧，直至最终确以为止。操纵这种形式，最终test的光阴只须要推断3%~6%的图片就能够抵达STOA的结果。
论文的思绪很簇新，可是杀青上并不繁复。和大家半任务相同，论文起初熬炼一个单帧ReID模子，这个模子操纵了分类失掉、比照失掉和三元组失掉。
上图是论文给的几个demo，此中(a)(b)是统一个体，(c)(d)是分别人。对付(a)(b)，因为样本正在前期产生了遮挡，因此模子没有很确定是正样本。模子挑选就连接往后看几帧，当再看了几帧之后，模子就很确定是正样本对。(c)也是前期产生了遮挡，当收集众看了几帧之后就确定了是负样本对。(d)是两个外观出格好像的负样本对，模子向来不是特地确认结果，猛然有一个体呈现遮挡之后，模子越发不确定了，跟着帧数逐步增加，最终模子照旧确认是负样本对的概率对比大。
行人再识别（ReID）是跨摄像机行人检索使命，因为存正在光照变动、视角变动、遮挡等繁复要素，目前的模子往往正在熬炼阶段抵达了很高简直凿率，可是测试阶段的职能却不尽人意。为了升高模子的泛化职能，咱们提出了一种奇特的样从来扩凑数据集：反抗式遮挡样本。
统统手腕流程如下：（1）依照常用的手腕熬炼一个 ReID 模子；（2）通过收集可视化的手腕寻得模子正在识别熬炼样本时所闭切的区域，对这些区域实行（个别）遮挡就能够形成新的样本，同时咱们坚持这些样根基有的种别标签；（3）最终，把新的样本参与到原始数据纠集，依照之前的手腕熬炼一个新的模子。这种样本不单模仿了实际中的遮挡情形，况且对付模子来说是坚苦样本，能够给模子的熬炼供给动量，从而跳出片面极小点，节减模子的过拟合。实践浮现，原始的 ReID 模子识别熬炼样本时只闭切极少片面的身体区域，参与新样本熬炼后的模子则能够同时闭切到极少之前没闭切的身体区域，从而升高了模子正在测试阶段的鲁棒性。下图是该手腕的一个实在杀青，此中 ReID 采用 ID 众分类模子，模子可视化手腕采用滑动窗口遮挡的手腕。
行人再识别题目是一个首要且具有离间性的经典筹划机视觉使命。普通摄像头搜集到的行人图像中含有芜杂的后台，而且图像中的行人普通有众种众样的模样和视角，这些众样性形成的坚苦正在之前的钻研中都尚未获得很好的管理。为知道决上述题目，咱们引进了二值化的行人瓜分轮廓图举动非常输入，并与彩色图像合成为四通道的新输入，然后安排了一种基于瓜分轮廓图的比照细心模子来研习后台无闭的行人特色。正在此根本上，咱们提出了一种区域级此外三元组失掉函数，分离来管束来自全图区域、行人身体区域、后台区域的特色，提出的失掉函数能够让来自全图区域和行人身体区域的特色正在特色空间逼近，并远离后台区域，最终抵达去除后台的感化。所提出的手腕正在三个行人再识别数据集上验证了有用性，博得了目下最好的职能。