毫米波与视觉融合及车道线检测视频分享
微信公众号：幼儿园的学霸
个人的学习笔记，关于OpenCV,关于机器学习, …。问题或建议，请公众号留言;
ADAS项目基本就要结束了，今天将项目中的部分结果视频进行一下分享，希望展示的结果能够启迪他人，对其有所帮助。展示的视频分为两部分：1）毫米波和视觉融合的结果2）车道线的检测结果。
毫米波和视觉融合结果
毫米波和视觉融合——像素坐标系下的融合
在进行毫米波和视觉融合时，最初采用的是像素坐标系下的融合方案，具体思路在之前的文章中已经有过详细描述。简单来说就是利用毫米波数据确定各目标在图像上的大致检测范围，然后在这个范围内进行目标识别or目标分类。当时采用了传统的机器学习的方案，由于纯检测效果不是很好，因此采用了检测+跟踪同时进行，而针对远近目标的区别，构造了双目标检测器，分别检测远近的目标。具体效果视频见下：
微信公众号视频
原始视频偏暗，显示的视频已经经过滤波、均衡化处理。视频中绿色框是毫米波确定的区域，红色框是检测出来的车辆。
毫米波和视觉融合——世界坐标系下的融合
由于机器学习的方案检测行人时效果很差，因此后期采用端到端的深度学习方案进行目标检测。深度学习在检测目标上效果远远优于传统的机器学习方案，此时，毫米波就处于辅助的地位，不像上面的方案中毫米波处于主要地位。此时，不可能针对毫米波确定的各可能区域进行一次深度学习的判别，这样整个过程耗时将非常严重，arm开发板支撑不起这样的运算。为此，针对融合方案也进行了更改，采用在世界坐标系下进行两者的融合。思路为：视觉目标检测--->世界坐标计算--->遍历毫米波目标数据融合。具体检测效果如下(视频在微信公众号)：
微信公众号视频
视频中间部分为世界坐标系下毫米波(黑点)目标和视觉目标(蓝点)的位置信息，红点为毫米波目标与视觉目标相融合的目标，当出现成功融合的目标时(红点)，在视频的右侧检测结果显示界面，矩形框的上方调试信息最后一行会出现Radar字样，意味着该目标和毫米波目标融合在了一起。
车道线检测
该部分展示的视频非项目中所用的方案，这只是我准备换一个思路做车道线检测时所写，该部分尚未完成，代码已经搁置了将近4个月（前段时间清理电脑，代码也不小心被删了，只留下硬盘中还存留有一部分视频，有点遗憾），现在展示出来，分享一下。该代码的思路是：
1）车道线提取。根据车道线像素宽度确定车道线位置，可以理解为一个二值化过程（或者说语义分割的过程），但是非传统的利用颜色阈值的二值化；
2）逆透视变换（前述文章已描述）；
3）统计像素直方图确定车道线位置(之前的opencv reduce()文章)；
4）滤波处理，保证车道线的稳定；
5）将结果变换至原始图像，进行绘图和坐标转换。
6）对代码优化，部分模块并行化处理。
这是当初写代码的一个思路流程，部分环节之前的文章都有涉及到。整个代码的框架已经搭建完毕，遗憾的是，代码丢失，要重头开始了，估计目前很少有时间做这个了。将思路分享出来，也许某些人可以用上呢。具体结果如下：
微信公众号视频
标签：视频,车道,检测,融合,目标,毫米波 来源： https://blog.csdn.net/leonardohaig/article/details/100060753
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。