标签：增强 彷射 回怼 AI 数据 yolo 车牌号 识别 车牌
前期回顾：
在上一期中，正当我信心满满的准备将模型应用在车牌识别的时候，遇到了很大的问题。就是在视频中，会把同一个车牌识别成很多不同的车牌号。这样会严重影响最终的统计精度。如下图所示，同一个这牌，由于拍摄角度不同会被识别出很多不同的车牌号。因此这期的主要目的就是要解决同一个车牌的不同角度下，被识别成不同车牌号的问题。
把该车牌在不同帧里面截取下来，进行预测，结果如下所示：
不同角度下，识别出了不同的车牌号，这显示是有问题的。
审核之前的数据增强
首先我对之前的车牌识别网络的数据增强做了审核，发现自己竟然使用了水平反转操作。要知道我们是7个车牌号一起识别的，水平翻转之后，车牌号的顺序是完全乱的，因此属于一个大Bug。我抑制住内心的激动，感觉找到了问题的本质。于是我删除了这个水平翻转的数据增强，重新进行了训练。最终的top1准确率从原来的0.9683提升到了0.9699，好像没有太大的提升。然后在同一个车牌的不同拍摄角度上进行测试，发现并没有实质性的改善。依然很糟糕的识别。
增加数据量
第一个直觉就是要增加数据量，但是由于ccpd中的蓝牌非常多，而绿牌非常的少，一共就1万张左右。因此通过增加数据量或许能够解决蓝牌的识别问题，但是依旧无法解决绿牌的识别问题。因此我pass掉了这个方案。
MixUp数据增强
再次审核代码，感觉数据增强确实有点少，但是对于现在这个特殊的车牌识别，左右顺序是非常重要的，因此不敢做一些几何增强。突然我想到了MixUp数据增强方式，刚好适合我这个项目。Mixup的原理非常简单。将多张图片按照比例粘贴在一起。计算loss的时候，分分计算两种图片的loss，再按照贴图的比例，加权loss。
使用了mixup数据增强之后，测试集的Top1准确率提升到了0.9806,相对于之前的0.9683有1.2个点的提升,看来还是有效果的。然后在之前的三个车牌上做测试，后面两个角度仍然出现了预测错误。
仿射变换数据增强
再次分析训练数据，由于在实际推理的时候，车牌的角度和透视形状往往是千差万别的，那么是否可以利用图像的彷射变换进行数据增强，从而提升精度呢？利用opencv的彷射变换函数，可以很方便的对车牌进行彷射变换，如下图所示：左边为原图，右边为经过彷射变换后的图片。
增加彷射变换之后，最终测试集的Top1准确率为0.9866，比mixup的0.9806提升了0.6个点，看来还是有效果的。然后在之前的三个车牌上做测试，发现第一个和第三个出现了错误。
由于增加mixup以及彷射变换后，都没有增加训练的epoch，理论上增加丰富的数据增强，需要增加epoch数目。于是，我将epoch从9增加到18个。最终的精度为0.991，推理可视化之后，效果非常nice。全部预测正确了。
模糊数据增强
同时考虑到车牌通常会有一些模型的情况，因此对车牌又增加了模糊处理，如下图所示，左边为原图，右边为模糊后的图片。期望能够增加模型的泛化性能。
训练后的最终top1精度0.9885，稍微差了一点，看看推理效果，如下图所示：
真实视频测试
通过上面的各种数据增强，已经训练出了比较好的模型，用之前拍摄的一些真实视频进行测试，发现仍然存在一个车牌被检测出多个不同的车牌号的情况发生。也就是说虽然模型在CCPD数据集里面已经拟合的很好，但是在真实环境下，准确率大大降低！因此不光从数据增强角度。还需要从网络设计等其他方面重新审视我们的车牌识别网络。真是道阻且长，但是不能放弃，坚持！
总结
这一期通过数据增强角度，对车牌识别进行了mixup，彷射变换，模糊处理等，最终在ccpd数据集的测试集上面将top1准确率从0.9683提升到了0.991（提升了2.3个点），但是在实际拍摄的视频中，仍然出现了很多的误检。将一个车牌的不同角度图片识别成很多个不同的车牌。虽然这期没有达到目的，但是也让我们更加清晰的认识到，深度学习项目落地的困难。并不是在公开数据集或者某一个数据集上效果很好，在落地项目中效果也会很棒。还是需要针对具体项目进行具体分析。下一期将会从网络结构等角度重新审视我们的车牌识别项目，敬请期待哦。
标签：增强,彷射,回怼,AI,数据,yolo,车牌号,识别,车牌 来源： https://blog.csdn.net/cjnewstar111/article/details/123614709
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。