亿加合和智能车制作
标题: 【含视频】智能车摄像头浅析 By【逐飞科技】 [打印本页]
作者: fbhsy 时间: 2016-1-23 18:50
标题: 【含视频】智能车摄像头浅析 By【逐飞科技】
本帖最后由 fbhsy 于 2016-1-23 19:35 编辑
继上一篇“线性CCD选型、应用浅析贴”后再来聊聊自己对于智能车摄像头的一些浅薄认识。（老规矩，楼下附上样车视频）
第一步还是回到比赛规则，基于第十一届规则的变化，能使用摄像头传感器的组别包含信标组，双车组，当然还有摄像头组，对于赛道黑白信息来说，摄像头作为采集赛道信息的传感器，无疑是一个较好的选择，信息量大，当然也就伴随着处理难度的增加，当然对于自身的锻炼也更多一些。任何小白在通往技术宅的道路上，过程越艰辛，往往更能锻炼人。这个过程中自己做的东西越多，自己学到的东西就更多。比如远近闻名的中南顺暗----朱葛俊 大神，看了他的大学经历只能默默怨恨自己的大学还不够努力，涉猎之广泛，做过的东西之多，以及每一方面达到的深度都令人不敢相信这是一个本科生能做到的，但大神就是大神，表示佩服，车友们可以多学学这种敬业的探究精神，不仅仅是做智能车，这种精神普适于任何一个领域。
扯远了，还是回到摄像头，关于摄像头的选型可算是被讨论烂了的一个话题，不计其数的人问过是选CCD好还是CMOS好，选模拟的好还是数字的好。CCD和CMOS在制造上的主要区别主要是CCD是集成在半导体单晶材料上，而CMOS是集成在被称为金属氧化物的半导体材料上，工作原理没有本质的区别，都是利用感光二极管（photodiode）进行光电转换，这种转换的原理与太阳能电子计算机的太阳能电池效应相近，光线越强、电力越强；反之，光线越弱、电力也越弱。根据此原理将图像转换为数字数据，而其主要差异是数字数据传送的方式不同。比较CCD和CMOS的结构，ADC（数模转换器）的位置和数量是最大的不同。CCD每曝光一次，在快门关闭后进行像素转移处理，将每一行中每一个像素的电荷信号依序传入“缓冲器”中，由底端的线路引导输出至CCD边缘的放大器进行放大，再串联ADC输出；而CMOS的设计中每个像素旁边都直接连着ADC，电荷信号直接放大并转换成数字信号。造成这种差异的原因在于CCD的特殊工艺可保证数据在传送时不会失真，因此各个像素的数据可汇聚至边缘再进行放大处理；而CMOS工艺的数据在传送距离较长时会产生噪声，因此，必须先放大，再整合各个像素的数据。随着CMOS电路消噪技术的不断发展，制造工艺的提高，CMOS的性能已经与CCD相差无几。（此段原理分析摘自网络）
但直接把这种对比分析、讨论放在智能车摄像头选择标准上是不合适的，因为单单把摄像头芯片剥离出来对比优劣并不科学，正确的打开方式应该结合智能车应用的特点，结合赛道元素，结合车模的运动特征来分析。大致概括为以下几点仅供参考：
2、镜头：镜头直接决定了摄像头的视场大小，透光性，像素大小，畸变量等，还有一个不能忽略的是要和传感器靶面大小匹配，1/3靶面尺寸的镜头适配1/3靶面大小的摄像头芯片，1/4靶面尺寸的镜头就要适配1/4靶面大小的摄像头芯片，目前流行的用于智能车的摄像头芯片基本就是这两种尺寸，同时要选择自己喜欢的视场大小，是90°、120°还是140°甚至170°，这都要根据摄像头是用在什么组别再加上个人的理论立场。畸变量越小越好，光圈2.0-2.5左右都行，像素清晰度基本都能满足，黑白分明的赛道信息对分辨率要求不高，但均匀性要好。
3、摄像头芯片：智能车竞赛最讲究的是摄像头的动态特性，需要拍高速运动的赛道（以摄像头为参照，相当于赛道在运动）。需要对光线适应性好。所以用于智能车最应考虑的特点包括快门方式（也就是其曝光方式）和动态范围（指输出图像的最亮和最暗部分之间的相对比值），数据采集周期，分辨率，感光靶面大小，这些因素都应该考虑进来，至于是彩色还是黑白不必纠结，因为智能车赛道信息只有黑和白（蓝色背景布或其他深色背景布的灰度值几乎与黑色无异，比黑色大一点点）。关于模拟和数字之争就基本没必要了，在历届竞赛里有模拟摄像头称王，也有数字摄像头问鼎，只要能满足智能车应用的需求，这两种都够用。CCD 和 CMOS亦是同样的道理，两者皆有高性能芯片可供选择。
接下来聊聊关于摄像头的应用：（注意：前方有广告植入）
摄像头样车应用以“逐飞科技”研发的“总钻风数字摄像头” 为基础展开，先分析下总钻风摄像头的特点：
该摄像头基于MT9V032芯片制作，相信应该有不少车友听说过镁光生产的这一系列的摄像头芯片（包括MT9V022、MT9V034等），其全局快门和高动态性能的特点非常适合用于智能车竞赛。
先讲讲它的快门方式，常见的电子快门的方式有Global shutter（全局快门） 和 rolling shutter（卷帘式快门）两种，全局快门是通过整幅图片在同一时间曝光实现的。传感器的所有像素点同时收集光线，同时曝光。当预设的曝光时间到了，传感器停止收集光线，并将曝光图像转成电子图像。在这个过程中，并没有实际意义上的快门存在。在曝光开始的时候，传感器开始收集光线；在曝光结束的时候，光线收集电路被切断，传感器读出值即为一副图片。
卷帘式快门与全局快门不同，它是通过控制芯片逐行曝光的方式实现的。卷帘式快门也没有实际意义上的快门，而是通过通断电控制传感器，使其不同部分在不同时间下对光的敏感度不同。逐行进行曝光，直至所有像素点都被曝光。当然，所有的动作在很短的时间内完成，一般情况为1/48至1/60秒。需要注意的是，卷帘式快门采用的是逐行曝光的方式。假如物体或摄像头在拍摄期间处于快速运动状态，拍摄结果就可能出现“倾斜”、“摇摆不定”或“部分曝光”等任一种情况。卷帘式快门是逐行顺序曝光，所以不适合运动物体的拍摄。当采用全局快门方式曝光时，所有像素在同一时刻曝光，类似于将运动物体冻结了，所以适合拍摄快速运动的物体。但是全局快门可能出现像糊现象。像糊现象出现与否取决于曝光时间的长短。假如曝光时间过长，且物体运动过快则会出现像糊；假如曝光时间很短，类似于运动物体在瞬间被冻结了，则少有模糊。
再就是它的高动态范围（DynamicRange）达到了90dB+，一般CMOS约60 dB，其高动态范围通过CMOS图像传感器的多斜率曝光实现。
总钻风数字摄像头的一些其他特点大致概括如下：
1、无需驱动：总钻风摄像头内部集成了驱动配置芯片，所以用户不需自己配置摄像头，可直接采集数据应用；
2、FPS可调：软件可调FPS，总钻风摄像头可在50帧、60帧、75帧、100帧、150帧切换，重要的是在各种帧率下图像皆很稳定。并且还可以更高，只不过考虑到智能车也不需要太高，够用就好；
3、自动曝光：总钻风摄像头具有自动曝光功能，当环境变亮摄像头会自动减小曝光时间，当环境变暗摄像头会自动增加曝光时间。所以此款摄像头可以适应不同环境。在光线不均匀的环境中中建议开启该功能。如现场光线非常均匀，也可自己固定曝光时间，当摄像头是固定曝光时间的时候，采集到图像较亮（曝光过度）时，可以通过程序去调节曝光时间，使得图像不那么亮，反之亦然。
4、可以实现二值化：简单处理即可实现二值化效果，用户可以只取数据位的高一位，当高一位为1是为白，否则为黑，即可实现二值化！配合自动曝光即可实现动态阀值的二值化。但这么好性能的摄像头选择二值化有点浪费，建议还是使用灰度值。
样车例程采用DMA采集摄像头数据，无需行中断控制时序，场中断开始采集，采集完成之后给出DMA中断，整幅图像采集只需要中断两次，搜线采用跟踪边缘算法。丢线时按照斜率补线（弯入十字补线和直入十字补线图片在8楼）。找到边界之后算出中心线，中心线乘上对应的权然后相加用于控制舵机。具体怎么操作可以参考逐飞科技的入门例程。
楼下附上逐飞科技总钻风摄像头样车视频，和一些摄像头性能说明图及样车图，此款摄像头用于双车组、摄像头组，信标组都是上佳选择，信标组只需要更换镜头即可（所有的摄像头都是这个道理，更换镜头就可用于信标组），同时已整理出样车整车机械及电子器件清单，可参照清单、原理图、例程做一辆正真先跑起来的车看看效果，想要取得好成绩还得自己发挥，对于智能车，只有真爱才能取得更长足的进步，我们提供的不是捷径，而是基础的参考，装逼还得靠自己。
对规则不明了的到官网下载相关文档，多看几遍规则！
对智能车还不知从何下手的多看看技术报告，多逛逛此论坛，基础知识欠缺的多看看书！
最后提前祝车友们春节快乐！
依旧附上逐飞科技座右铭分享给大家：永远不要轻视行动的力量！
逐飞科技技术贴链接：
本文由“逐飞科技”编辑整理，大神轻拍，欢迎交流，愿智能车世界更美好！
摄像头样车，先睹为快。。。
补充内容 (2016-1-25 09:16):
补一个：逐飞科技__智能车部落 179029047
作者: fbhsy 时间: 2016-1-23 18:57
本帖最后由 fbhsy 于 2016-1-23 18:58 编辑
总钻风摄像头样车顺时针运行：
http://player.youku.com/player.php/sid/XMTQ1NDU2MDQzMg==/v.swf
作者: fbhsy 时间: 2016-1-23 18:58
本帖最后由 fbhsy 于 2016-1-23 19:26 编辑
总钻风摄像头样车逆时针运行：
http://player.youku.com/player.php/sid/XMTQ1NDU1ODgwNA==/v.swf
温馨提示：
作者: fbhsy 时间: 2016-1-23 19:01
总钻风摄像头自动曝光测试，从看窗外到看窗内再看窗外，均能自动调节。
http://player.youku.com/player.php/sid/XMTQ1NDU2MTk2OA==/v.swf
作者: fbhsy 时间: 2016-1-23 19:03
本帖最后由 fbhsy 于 2016-1-23 19:06 编辑
全局快门和高动态范围示意图：（附上关于MT9V032摄像头的一片帖子，讲得比较清楚：http://www.openedv.com/posts/list/53128.htm）
作者: fbhsy 时间: 2016-1-23 19:08
舵机安装图：
作者: fbhsy 时间: 2016-1-23 19:08
编码器安装：
作者: fbhsy 时间: 2016-1-23 19:10
A车后轮轮距调整
作者: fbhsy 时间: 2016-1-23 19:11
弯入十字补线+直入十字补线：
作者: fbhsy 时间: 2016-1-23 19:15
再上一波图片：
作者: wish_you_happin 时间: 2016-1-23 19:16
66666
作者: fbhsy 时间: 2016-1-23 19:17
再来几张和红孩儿线性CCD样车合照：
作者: wish_you_happin 时间: 2016-1-23 19:17
轮胎都磨成这样也能跑这么快啊
作者: fbhsy 时间: 2016-1-23 19:20
后轮刚刚好，前轮已过巅峰，已经不行了，磨平了都。。。
作者: wish_you_happin 时间: 2016-1-23 19:26
A车的后轮差速很蛋疼
作者: wish_you_happin 时间: 2016-1-23 19:27
摄像头确实不错，这车速有多快？
作者: fbhsy 时间: 2016-1-23 19:27
考手艺，慢慢调，得找感觉
作者: fbhsy 时间: 2016-1-23 19:28
本帖最后由 fbhsy 于 2016-1-23 19:30 编辑
没测试，大概两米多吧，来一个摄像头呗，，，
作者: wish_you_happin 时间: 2016-1-23 19:42
包邮吗
作者: fbhsy 时间: 2016-1-23 19:44
真买就真包
作者: 华航小虫 时间: 2016-1-23 19:47
顶一下
作者: fbhsy 时间: 2016-1-23 19:50
谢谢支持！
作者: 刘云峰1996 时间: 2016-1-23 19:51
666666666666
作者: 波风 时间: 2016-1-23 19:52
一百个赞，产品不错。6666
作者: fbhsy 时间: 2016-1-23 19:55
感谢支持，感谢认可，夸奖！
作者: 飞思卡尔H 时间: 2016-1-23 20:50
刚看到楼主提到的中南顺暗----朱葛俊，去搜了下，没找到关于他的大学经历的文章。我很想看看，楼主能分享给我吗，谢谢了
作者: fbhsy 时间: 2016-1-24 01:06
不是一篇文章，是逐渐了解到他的一些相关 。
他论坛 ID：Quixote
这是他最近发的一篇摄像头的图像处理的帖子：http://www.znczz.com/thread-239510-1-1.html
作者: wyyy08211 时间: 2016-1-24 09:05
不错啊
作者: _Phantom_ 时间: 2016-1-24 13:05
帮顶！！这么详尽的介绍还有什么可挑剔的
作者: 跑龙套的人 时间: 2016-1-24 13:49
轮胎磨得不是很对称哦~
作者: 湖工~浮生若梦 时间: 2016-1-24 14:41
不是应该用Ｂ车么
作者: fighting001 时间: 2016-1-24 23:55
牛逼牛逼，我现在还停留在采集图像显示出来的阶段，摄像头效果是挺不错，希望能多向楼主学习学习，售后不要嫌我太麻烦哦
作者: fbhsy 时间: 2016-1-25 09:17
欢迎多多支持我们。
作者: fbhsy 时间: 2016-1-25 10:01
谢谢支持！
作者: fbhsy 时间: 2016-1-25 10:22
谢谢支持！
作者: fbhsy 时间: 2016-1-25 10:53
旧车零件拼装起来用的，不是很对称
作者: fbhsy 时间: 2016-1-25 10:55
恩恩，对的，摄像头组是B车，双车组可以用A车，只是手头零件刚好能拼出一辆A车，就用A车做样车了，主要个人也更喜欢A车
作者: freescal001 时间: 2016-1-25 11:47
666666666666
作者: fbhsy 时间: 2016-1-25 13:19
你的选择是对的，，我们一定会做好售后的，有什么疑问欢迎讨论
作者: 斯特凡 时间: 2016-1-25 15:23
顶一个。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
作者: fbhsy 时间: 2016-1-25 15:35
谢谢，斯特凡还在学校么？
作者: fighting001 时间: 2016-1-25 15:54
恩，好的，支持你们
作者: 安小赞思密达 时间: 2016-1-25 17:08
感觉B车 机构好蛋疼 摩擦力不够
作者: fbhsy 时间: 2016-1-25 17:15
每种车模都不那么完美，都得慢慢调，相对而言博思的车模精度要高一些，也要耐用一些，不过B车也能调得很好，加油哦
作者: 1325536866 时间: 2016-1-25 17:35
真不错，还有没其他帖子呢。再来点
作者: fbhsy 时间: 2016-1-25 17:41
下一篇扯扯算法的一些理解。
作者: 西北狼00 时间: 2016-1-25 23:30
666666666，到这个帖子里感受到的就是满满的实力，，，差别好大
作者: fighting001 时间: 2016-1-26 09:14
就是啊。。。。。
作者: fbhsy 时间: 2016-1-26 09:16
谢谢支持！
作者: 隐隐作痛 时间: 2016-1-26 12:05
服务不错，技术过硬，楼主加油
作者: fbhsy 时间: 2016-1-26 13:37
谢谢肯定，用得好也帮我们推荐推荐哦
作者: wszmh2012 时间: 2016-1-26 17:39
66666666666666
作者: 芝麻豆 时间: 2016-1-26 19:50
楼主厉害，支持一下
作者: fbhsy 时间: 2016-1-27 09:56
不敢造次，谢谢支持！
作者: fbhsy 时间: 2016-1-27 14:07
谢谢顶贴！
作者: gdz 时间: 2016-2-1 10:02
帖子写得不错，值得一顶！
作者: CSU虚心向前 时间: 2016-2-1 10:12
666666
作者: fbhsy 时间: 2016-2-16 09:31
谢谢!！！
作者: fighting001 时间: 2016-2-22 16:14
感觉楼主的推广做得不好，很多人不知道用什么摄像头好，然而你们的这款摄像头比较少的人知道
作者: fbhsy 时间: 2016-2-23 09:28
感谢顶贴！
作者: fbhsy 时间: 2016-2-23 11:24
恩，酒香也怕巷子深，目标是以品质取胜，但同样需要推广，前面也收到好多其他车友的很多建议，谢谢你的建议，我们会做得更好！
作者: 54_刘小威 时间: 2016-2-23 18:38
大神能把摄像头那辆车的代码给参考一下吗，liuzw_1995@163.com谢谢您
作者: fbhsy 时间: 2016-2-23 19:56
整车代码暂不公开的哦，有入门例程送的，毕竟我们不帮做车，这是底线，要尊重组委会的规则不是。可以加我们群交流思想，有整套硬件解决方案，但是都需要自己根据思想去敲代码，这样做才能提升自己的能力，相信应该能理解我们的良苦用意，如果我们一开始就卖整车+代码的话相信生意还会很好，但是我们不会这样做，授人以鱼不如授人以渔，况且我们也不喜欢装，技术需要踏踏实实
作者: 54_刘小威 时间: 2016-2-24 12:28
那能说一下您是怎么处理斜入十字和拐弯切内的吗
作者: 望若闲云 时间: 2016-2-24 16:10
楼主能给个扣扣吗？希望能与您进行一些交流，少走弯路
作者: fbhsy 时间: 2016-2-24 16:12
斜入十字是根据斜率补线，关于内切你可以搜一下 灰原姐姐 的拽物线那篇帖子，讲得很经典的
作者: fbhsy 时间: 2016-2-24 16:13
欢迎加群交流哦，帖子有有群号，再发一下：179029047
作者: wjzyh01 时间: 2016-2-25 16:00
在SEEKFREE-->h_file-->SEEKFREE_MT9V032.h中改完分辨率为60*80后图像就不能正常显示了。 修改分辨率需要修改历程里的内存移动函数吗？具体怎么改？
作者: fbhsy 时间: 2016-2-25 16:07
不能直接改，默认的已经这款摄像头输出的最小分辨率，没必要再往大改，如果还想压缩，可以参考 OLED上显示图像的例程中的方法，抽点实现，视场不变，不能用缩小视场的方法，那就不划算了
作者: daijaiming 时间: 2016-2-25 21:22
陷入了电轨差速中无法自拔！求拯救！天天调，有半个月了，没感觉有效果
作者: fbhsy 时间: 2016-2-25 21:31
穷则思变，不破不立，换个姿势，再来一发。。。。
作者: 南宇 时间: 2016-2-26 10:18
66666
作者: fbhsy 时间: 2016-2-26 10:57
感谢老鸟顶贴
作者: wjzyh01 时间: 2016-2-28 14:26
图像显示异常了？怎么破
作者: fbhsy 时间: 2016-3-1 09:11
技术帮你处理了么？
作者: wjzyh01 时间: 2016-3-1 15:25
帮过了
作者: 王璐强 时间: 2016-3-1 17:35
不错不错
作者: 王璐强 时间: 2016-3-1 21:22
赞一个！
作者: 喆3喆 时间: 2016-3-7 19:59
:lol:lol
作者: Whatarewords 时间: 2016-5-2 17:26
您这是120度镜头吧？为什么我的总转风120度感觉畸变比你的要大？
作者: fbhsy 时间: 2016-5-3 09:55
120°的都是同一种镜头，不会不一样，感觉误差
作者: wjs1261143898 时间: 2016-5-19 02:43
66666
作者: fbhsy 时间: 2016-5-19 09:19
谢谢捧场
作者: 你有小面包吗 时间: 2018-3-23 11:34
请问逐飞k60有按键的库函数吗？在库中没找到啊
作者: a1144636560 时间: 2018-4-12 22:12
看看111
作者: 小欢可乐 时间: 2018-12-16 18:21
摄像头确实不错，那楼主推荐用什么主控呢，感觉K60DN系列有点吃力啊
作者: fbhsy 时间: 2018-12-17 09:59
这个就自己写了吧，这是故意不写的
作者: fbhsy 时间: 2018-12-17 10:01
LPC54606，这个我记得之前在逐飞LPC库开源贴里面讨论过，可以参考一下
http://www.znczz.com/forum.php?m ... d=282796&extra=
作者: 小欢可乐 时间: 2019-1-9 19:55
楼主帖子说图像处理用二值化比较浪费摄像头，那也就是说直接处理灰度图像？楼主视频中用的什么方法呢？
作者: zmgnqzj 时间: 2019-1-13 18:19
灰度图像怎么用，楼主有推荐的算法吗
作者: 小欢可乐 时间: 2019-4-7 13:30
想问一下入门例程在哪找？？？
作者: fbhsy 时间: 2019-4-8 10:17
大部分基础例程在对应淘宝链接下都有下载链接
作者: 小欢可乐 时间: 2019-4-9 10:02
好的，谢谢。
| 欢迎光临 亿加合和智能车制作 (http://111.231.132.190/) |
Powered by Discuz! X3.2 |