1.L2-constrained Softmax Loss for Discriminative Face Verification
2.SSD 分析(一)
L2-constrained Softmax Loss for Discriminative Face Verification
æ¬æ主è¦é对è®ç»éæ°æ®è´¨éä¸åè¡¡é®é¢ï¼éè¿å¨softmax losså±ä¹åæ·»å L2约æå±å°æææ ·æ¬ï¼ç®åæ ·æ¬åå¤ææ ·æ¬ï¼çç¹å¾æè¿°åéå®å¨åä¸L2èæ°ä¸æ¥è¾¾å°å¹³çå¯¹å¾ æææ ·æ¬çææã
æ¬æé对çä»»å¡ç±»åæ¯äººè¸è¯å«ï¼èå¨ä¸åéåºæ¯ï¼å¦åè§è§ãå辨çãé®æ¡åå¾åè´¨éçå ç´ å½±åä¸ï¼ç人è¸è¯å«æ¯ä¸ä¸ªå ·ææææ§çé¾é¢ãå ¶åå ä¹ä¸å¨äºè®ç»æ°æ®éä¸å¾åæ°æ®è´¨éçä¸å¹³è¡¡ã大é¨åç°æçåºäºSoftmax lossè®ç»ç深度å·ç§¯ç¥ç»ç½ç»ä¼å¾åäºè¿æåé«è´¨éçæ°æ®ï¼æ æ³æ£ç¡®åç±»å¨å°é¾æ¡ä»¶ä¸ç人è¸å¾åã
Softmax losså ·æ以ä¸çä¼ç¹å缺ç¹ï¼
ä¼ç¹ï¼ 1.å¯ä»¥å©ç¨æ·±åº¦å¦ä¹ å·¥å ·ç®±ä¸çå ç½®å½æ°è½»æ¾å®ç°ï¼å¦Caffeï¼TorchåTensorflowï¼
2.对è¾å ¥æ¹éç大å°æ²¡æä»»ä½éå¶å¹¶ä¸æ¶æé度快ï¼
3.å¯ä»¥å¨æ²¡æä»»ä½åº¦éå¦ä¹ 帮å©çæ åµä¸å¾å°å ·æ足å¤å¤å«å度ç¨äºäººè¸è¯å«çç¹å¾ã
缺ç¹ï¼ 1.Softmax lossååäºæ ·æ¬åå¸ï¼å³Softmax loss对äºé«è´¨é人è¸å¾åéåºæ§å¾å¥½ï¼ä½ä¼å¿½è§è®ç»æ¹éä¸æ为ç½è§çé¾ä¾ï¼
2.Softmax loss并ä¸ä¼ä¼åè¯å«çè¦æ±ï¼å³ä¿ææ£æ ·æ¬å¯¹è·ç¦»ç¸è¿ï¼è´æ ·æ¬å¯¹é´å½¼æ¤è¿ç¦»ã
为äºè§£å³ä¸è¿°Softmax lossåå¨ç缺é·ï¼æ¬æåºäºå®éªè§å¯æåºäºL2约æä¸çSoftmax lossï¼é¦å æ¥ä»ç»ä¸ä¸å®éªä¸çä¸ä¸ªç°è±¡ã
éç¨ç人è¸è¯å«ç³»ç»çåºçº¿æ¡æ¶å¦å¾1æ示ï¼
ç»å®è®ç»æ°æ®éåç¸å¯¹åºçå®ä½æ ç¾ï¼ç½ç»é¦å å©ç¨æ·±åº¦å·ç§¯ç¥ç»ç½ç»æåç¹å¾æè¿°åï¼åç»åç¹å¾æè¿°ååSoftmax losså¾å°è®ç»æ ·æ¬å±äºæ¯ä¸ä¸ªç±»å«çæ¦çï¼Softmax lossçå½¢å¼å¦å¾2æ示ãè®ç»å®æåï¼æ们ç¨è®ç»å¾å°çç½ç»åå«æåä¸¤å¹ å¾åçç¹å¾æè¿°åï¼å¹¶å©ç¨è·ç¦»åº¦éæç¸ä¼¼åº¦åº¦é计ç®å¾åä¹é´çç¸ä¼¼åº¦åæ°ï¼ä¾æ®ç»å®çéå¼æ¥å¤æä¸¤å¹ å¾åæ¯å¦ç¸åã
å¨è¿ç§è®ç»æ¡ä»¶ä¸ï¼ç½ç»å¹¶ä¸ä¼ä¿è¯æ ·æ¬å¨å½ä¸åæä¸è§ç©ºé´ä¸ä¿ææ£æ ·æ¬ç¸è¿åè´æ ·æ¬å¯¹è¿ç¦»ãæ¤å¤ï¼åºäºsoftmax lossçåç±»å¨ä¸è½å¤åç±»æ端å°é¾çæ ·æ¬ã
ç±äºç½ç»ä¼éè¿å¢å¤§ç®åæ ·æ¬ç¹å¾çL2èæ°å¹¶å¿½è§é¾ä¾æ¥æå°åSoftmax lossï¼å æ¤ï¼ç½ç»ä¼éè¿å¾åçç¹å¾æè¿°åçL2èæ°æ¥ååºäººè¸çè´¨éãä½è éè¿å®éªåç°ï¼å¨æµè¯è¿ç¨ä¸ï¼å½ä¸¤å¹ è¾å ¥å¾åçç¹å¾æè¿°åçL2èæ°é½å¾å°æ¶ï¼æ§è½å¾å·®ï¼L2èæ°å¾å¤§æ¶åæ§è½è¯å¥½ã
为äºè§£å³è¿ä¸ªé®é¢ï¼æ们å°æ¯å¹ å¾åçç¹å¾æè¿°åçL2èæ°å¼ºå¶åºå®ä¸ºå¸¸æ° ï¼ä»¥æ¤å°L2约æä¸çç¹å¾æè¿°åéå®å¨ä¸ä¸ªå ·æåºå®åå¾çè¶ çé¢ä¸ãå¨è¯¥è¶ çé¢ä¸ï¼æå°åSoftmax lossç¸å½äºæ大åä½å¼¦ç¸ä¼¼åº¦ï¼å³å¢å¤§æ£æ ·æ¬å¯¹çç¸ä¼¼åº¦åå°è´æ ·æ¬å¯¹çç¸ä¼¼åº¦ãå ¶æ¬¡ï¼ç±äºææçè¸é¨ç¹å¾æçç¸åçL2èæ°ï¼å æ¤Softmax losså¯ä»¥æ´å¥½ç建模æ端å°é¾ç人è¸æ ·æ¬ã
L2约æSoftmax lossçå ¬å¼å¦å¾3æ示ï¼ä¸»è¦æ¯å¨å¸¸è§Softmax lossçåºç¡ä¸å¢å äºä¸ä¸ªçº¦æ项ï¼å°æææ ·æ¬çç¹å¾æè¿°åçL2èæ°åºå®ä¸ºå¸¸é ã
å ·ä½å®æ½æ¹æ³ä¸ºå¨ç½ç»åæ°ç¬¬äºå±åé¢å¢å L2å½ä¸åå±å尺度å±ãL2å½ä¸åå±å°ç¹å¾åéå½ä¸åå°åä½åéï¼å°ºåº¦å±å°åä½åéå©ç¨åæ° ç¼©æ¾å°æå®çåå¾ã
SSD 分析(一)
研究论文《SSD: Single Shot MultiBox Detector》深入解析了SSD网络的训练过程,主要涉及从源码weiliu/caffe出发。首先,通过命令行生成网络结构文件train.prototxt、winlogon源码test.prototxt以及solver.prototxt,执行名为VGG_VOC_SSD_X.sh的shell脚本启动训练。
网络结构中,前半部分与VGG保持一致,随后是fc、conv6到conv9五个子卷积网络,它们与conv4网络一起构成6个特征映射,tt源码免费群不同大小的特征图用于生成不同比例的先验框。每个特征映射对应一个子网络,生成的坐标和分类置信度信息通过concatenation整合,与初始输入数据一起输入到网络的最后一层。
特别提到conv4_3层进行了normalization,鸿运互娱源码而前向传播的重点在于处理mbox_loc、mbox_loc_perm、mbox_loc_flat等层,这些层分别负责调整数据维度、重排数据和数据展平,血糖记录app源码以适应网络计算需求。mbox_priorbox层生成基于输入尺寸的先验框,以及根据特征图尺寸调整的坐标和方差信息。
Concat层将所有特征映射的预测数据连接起来,形成最终的智谱ai 源码输出。例如,conv4_3_norm层对输入进行归一化,AnnotatedData层从LMDB中获取训练数据,包括预处理过的和对应的标注。源码中,通过内部线程实现按批加载数据并进行预处理,如调整图像尺寸、添加噪声、生成Sample Box和处理GT box坐标。
在MultiBoxLoss层,计算正负例的分类和坐标损失,利用softmax和SmoothL1Loss层来评估预测和真实标签的差异。最终的损失函数综合了所有样本的分类和坐标误差,为网络的训练提供反馈。