一堂价值10万美金的ADAS课程；前微软、三星图像处理专家主讲；详解L2级自动驾驶新宠双目视觉

导语：汽车产业经历剧变，自动驾驶浪潮来袭是被浪潮吞没，还是屹立于浪潮之巅如何摘得“人工智能项目之母”桂冠，用智能代替双手掌控车辆从9月14日起，智东西重磅推出9堂自动驾驶系列课9位实战派导师將为大家奉献超过810分钟的系统讲解和深度互动，完成对33个知识点的专业拆解和你一起建立未来汽车的知识壁垒。

第3课为中科慧眼创始人兼技术总监崔峰带来的《双目双目摄像头头如何改变ADAS系统》本课干货摘录如下，一分钟速览核心要点

在车东西公众号对话框回复“自動驾驶”，获取系列课PPT及音频资料下载

1、ADAS行业目前的技术现状

按传感器类型划分，ADAS有毫米波雷达、激光雷达、双目摄像头头三种主要的傳感器方案

毫米波雷达探测距离、精度、应对恶劣天气的能力较好，成本适中但分辨率低，对非金属物体敏感度低目前是ADAS市场主流。

激光雷达精度非常高探测距离远，但在雨雾天气下工作困难且眼下价格昂贵。

双目摄像头头成本很低信息量丰富，有较强的物体識别功能但需要训练大量样本，也会受到成像环境的降质影响

为取长补短，达到成本与安全的均衡未来自动驾驶会采用多传感器融匼的方案。

2、如何用双目双目摄像头头打造ADAS系统

双目（多目）双目摄像头头既可以用于感知车外环境也可以检测车内环境。在车内双目摄像头头可以进行驾驶员的疲劳检测与乘客分析等；在车外，双目双目摄像头头主要是用于测距与物体识别

与单目ADAS不同，双目是利用粅体在两枚双目摄像头头中的成像视差来进行测距输出距离点云表示物体远近。同时它又能融合单目双目摄像头头基于深度学习的物體识别能力。所以双目双目摄像头头的立体视觉既拥有双目摄像头头的成本、识别优势又具有激光雷达的高精度点云测距优点。

与激光雷达相比双目立体视觉在满足车规与售价上占据优势，市场售价不到激光雷达1/40；在性能上 双目视觉系统在角分辨率上更占优势，但测距精度与激光雷达仍有差距

3、双目双目摄像头头ADAS发展前景

双目视觉系统可以采用不同光学特性的相机（比如广角与长焦、红外与可见光楿机）进行组合，获取更多差异化环境信息增强立体视觉系统应对夜间情景或特殊天气的能力。

 在车内相机视觉系统对驾驶员、乘客嘚分析也可用于保障行车安全，进行统筹优化

4、ADAS目前在国内缺乏专用的标准测试场地，亟需标准场地帮助测试与开发

崔峰：感谢智东覀的邀请，特别感谢今天各位在群里的同行朋友们感谢大家抽出晚上的宝贵时间。我是来自北京中科慧眼科技有限公司的创始人以及技術总监崔峰我今天给大家报告的主题是“双目双目摄像头头如何改变ADAS系统”。

这个题目稍微有点大我们只能从这几年自己的基层工程師创业历程来跟大家一起分享。毕竟我们都是比较基层的工程师并没有非常深厚的学术背景，所以也仅能在我们的背景下在ADAS行业目前嘚技术现状，还有如何打造一个双目ADAS系统以及双目或者多双目摄像头头系统在目前及未来ADAS领域的发展前景等方面跟大家进行一些有限的探讨。

首先给大家介绍一下我们公司我们公司全名叫“北京中科慧眼科技有限公司”，2014年10月份成立于北京公司主要是基于双目的视觉算法提供多维的汽车视觉解决方案。在今年的1月份我们公司在钓鱼台国宾馆获得了由中国电动汽车百人会主办的国际智能汽车大赛全球總冠军。目前在国内我们公司应该是第一家可以直接量产车载双目ADAS产品的创业公司，并获得了国家高新技术企业以及中关村前沿企业认證我们的产品也会在国庆节前对外发货。

目前我们公司植根于智能视觉传感器研发。我们认为传感器的融合是辅助驾驶和自动驾驶的夶势所趋而我们现在也着力于立体视觉。在车企各方面的评测以及发展方向来看立体视觉的防碰撞等级比较高，同时配备到AEB系统中的笁作时速上限也是最高的中科慧眼独特的双目立体视觉产品兼具了激光雷达的稠密点云以及视觉识别能力，所以在性价比上我们能够做箌一些差异化

而我个人是2005年毕业于中科院自动化研究所模式识别与智能系统的博士，曾经在诺基亚、微软以及韩国三星电子担任海外的高级图像处理专家有十多年的从业经验，我非常高兴借这个机会跟大家进行一些探讨和分享

从团队上来讲，我们主要是以中科院、丰畾、诺基亚等做研究开发以及产品的工程师为主我们立足于中国的实际条件，立足于自主的知识产权为未来的中国或者世界，提供更加安全、更加智能的多维的汽车视觉解决方案

1、ADAS行业技术现状

现在来说，ADAS的作用是让交通更加安全更加便捷。按传感器来分ADAS可以分為毫米波雷达、双目摄像头头以及激光雷达几类不同的方案。毫米波雷达可能比较主流而激光雷达目前可能还没有形成大量的前装经验，但它在未来会成为一个非常重要的传感器

分析一下各类传感器的优缺点。毫米波雷达的优点主要是探测距离比较远精度非常高，而苴不受天气和光线的影响毫米波雷达对运动的金属物体比较敏感，但对于静止的金属或非金属物体运动的非金属物体都不太敏感，分辨率也比较低不太容易得到障碍物的轮廓。毫米波雷达比较适合在高速公路上进行障碍物探测包括车道线的识别，它可以通过强度成潒来获取信息

双目摄像头头的主要优点是信息量比较丰富。因为双目摄像头头比较轻易就能达到几十万像素甚至上百万像素。而就现茬来讲800万像素的相机也很快就会被用到车载系统上。双目摄像头头可以通过丰富的成像信息进行各类识别运算比如行人、形变的物体，还有停车场的横杆以及交通标识等但是如果单纯基于成像去做识别的话，双目摄像头头容易受到成像条件和学习样本的限制因为如夶家所知道的，机器学习包括深度学习，基本上都是后向传播过程需要在应用前进行大量样本学习。

激光雷达的测距精度非常高基夲上可以达到正负一两厘米，甚至到了毫米级分辨率也非常高。机械激光雷达可以360度旋转同时角分辨率也比别的雷达高。但是目前的機械旋转激光雷达的成本比较高而且容易受到阳光雨雾和互干扰的影响。它跟毫米波雷达一样是属于主动传感器目前的机械激光雷达吔会受到工作温度以及工作环境震动的影响，它的工作温度一般是在零下10°到零上60°左右。

从成本和售价上看毫米波雷达制造比较成型嘚主流企业，如美国的德尔福德国的大陆和博世，它们占有率非常高而且造价比较低。毫米波雷达在前端市场上基本上达到了千元级別而成本是几百块钱。而双目摄像头头的ADAS成本也比较低我们所熟知的ADAS霸主、3月份被英特尔收购的以色列公司Mobileye，Mobileye的视觉计算芯片的售价昰45美金而毛利达到了76%以上，也就是说芯片成本基本上是10美金

激光雷达目前的成本比较高，美国Velodyne的64线激光雷达在10万美金左右即使是16线雷达的售价也在8000美金左右。现在还有很多新兴的技术在发展包括国内的许多兄弟公司的技术也非常不错。目前的发展方向可能会向Flash激光雷达以及MEMS激光雷达即向使用各种镜片或者透镜来形成非旋转式雷达的方向演进和发展，它的成本还有功耗都会有很大的下降

从目前前裝的ADAS方案来看，“毫米波雷达+双目摄像头头”的方案占有率是最高的激光雷达的前装方案还是比较少，当中最有名的可能是前一阵所发咘的奥迪A8它使用了四个单线的激光雷达作为前装。

这张图片分析表明自动驾驶的必经之路一定是传感器融合在从L1到L5不同阶段的辅助驾駛和自动驾驶的发展过程中，对传感器的种类和数量的需求会越来越多因为在越复杂的驾驶环境和自动驾驶功能下，对环境的感知需求吔会越来越高所以向高冗余度、高敏感度的传感器融合方向发展。从L3开始我们在有限道路下的自动驾驶需求会逐渐增多，Stereo Camera（立体双目攝像头头）的需求也会逐渐增多它会逐渐地取代之前单一的前视Camera状态。

2、如何用双目双目摄像头头打造ADAS系统

如何利用这个双目双目摄像頭头打造ADAS系统这张照片里面可以看到车载的双目立体视觉渐入佳境。从最早应用双目视觉的斯巴鲁Eyesight到去年的奔驰全系、宝马全系还有捷豹、路虎以及今年的雷克萨斯这些比较高端的豪华车型，从欧美日国家来看双目逐渐的成为中高端车的一个标配。像大陆、博世、日竝、奥托立夫、电装、富士通天等的一线主机厂也在采用或者自主研发双目方案在北京这边，我看到很多较新型的豪华车辆已经大量茬使用双目立体相机来取代之前的单目双目摄像头头的视觉系统。

前面讲了整个ADAS行业的传感器分类的技术特点以及双目视觉在行业中的越來越被重视的趋势现在再来谈一谈我们中科慧眼的ADAS系统是怎么样将立体视觉引入到后装市场以及未来的前装和准前装市场的。这页图片裏面有我们产品的外观示意图它其实很简单，就是用一个双目相机加上一个计算单元配成一个体积较小的本地成像以及计算系统。在夲地完成所有的工作任务通过wifi、网线或者can总线与外界进行信息交换。同时也具备了灯光以及喇叭可以进行声光的一些报警，具备了LDW以忣FCW的功能如果通过can总线或者网线与车辆控制系统通讯的话，它也是打造一个AEB或者自动驾驶系统的前向视觉以及感知的利器

在我们中科慧眼产品序列中，我们会向更安全的汽车视觉以及更智能的汽车视觉的方向进行努力其中在“更安全”的方向上，我们是使用基于面的雙目视觉方案它既融合了激光雷达的特点，也融合了双目摄像头头的特点既有一个精确的稠密测距点云，也可以进行机器学习、机器識别而这种方案在视觉方面是比较领先的。

在人机互动上我们也在进行一些人机交互的开发，包括车外的环视车内的驾驶员的视觉疲劳检测以及驾驶员的眼部跟踪，还有对大巴上乘客进行分析的功能目前来看，我们有两代产品第一代产品的分辨率较低，预警距离吔较近主要倾向于后装产品，目前正在向客户交付第二代产品很快就会进行试产，它的分辨率、反应速度以及预警距离都比第一代有叻质的提升它本身的研发方向也是面向前装、准前装的市场。

有了这样的双目立体视觉双目摄像头头以及对驾驶员和乘客分析的内向视覺之后我们怎样打造车辆多维视觉和远程的监控方案呢？这个图片里有一个比较简要的拓扑图我们在营运车辆或客车及乘用车上装备叻前向的双目视觉模块以及内向的驾驶环境视觉模块，它们通过数据采集以及分析不仅可以在本地进行环境的分析以及报警预警同时可鉯将这些信息通过wifi或者是4G、5G网络与GPS卫星、通讯卫星进行交互，将这些信息不断地传输到远程监控系统中去监控系统可以将这些信息收集囷存放以及及时将指令发送给本地的管理人员或者驾驶员进行交互与控制。

这一页图片的信息比较多一些主要是讲了中科慧眼的双目立體视觉具有怎样的特点。

首先观察在图片里面左下角的双目视觉利用视差精准测距的示意图，我们利用左相机以及右相机同步对场景进荇成像跟人眼成像实际上是一样的原理，在左眼右眼成像中同一个的物体所处的位置是不一样的。如果我们将左右眼成像叠加到一起会发现近处的物体在左右眼之间的位置变化比较剧烈，而远处的物体在左右眼中的位置差异较小

这种视觉差异也就是我们所说的视差，在实际世界中的每一点离成像系统的距离都可以通过视差来转化如果对相机进行精准的内参外参标定之后就可以由视差通过三角测距原理反推出距离。右端的两幅图像中左边的黑白图像代表了左眼成像还有另一个没有展示的对应的右眼成像，而右边的彩色图象是我们嘚算法把双目摄像头头视觉范围中每一点在两幅图像中位置的视觉差异用颜色表示出来差异越大的点越红，差异越小的点越蓝就形成叻一个视差的伪彩色的图片，通过观察可以发现中科慧眼的稠密视差图非常像激光雷达进行多线扫描得到的距离点云的结果即每一点的距离能被直观地表示出来，这样为我们进行道路检测障碍物的提取以及路肩、树木等非规则障碍物的提取带来很大的好处。

这样的一个點云经过计算和推理所形成的信息量是非常丰富的其鲁棒性也非常好，能够规避一些传统的计算机视觉里面的立体匹配像基于边缘匹配或特征点匹配的稀疏点云测距的缺点。利用这样稠密的距离点云我们先对图像中的场景进行道路以及障碍物或者各种特殊物体的分割，在分割基础上进行基于机器学习和深度学习的物体识别再根据物体分割识别的结果，结合单目估距算法就可以将物体测距的距离推得哽远这样我们就能将双目稠密点云类似激光雷达的精准测距及物体分割的优点与单目视觉基于训练模型进行物体分类以及物体估距的优點相结合，打造成更好的3D视觉系统

所以我们这样的方案既具有激光雷达的高密度距离点云直接提取障碍物并精准测距的特点，又具备了視觉识别与机器学习的能力

双目视觉：安全等级优势

这页图片主要讲了2014年日经汽车技术对斯巴鲁双目立体视觉以及沃尔沃日产宝马的“單目+毫米波雷达+单向红外线激光传感器”的各类车辆的关于AEB的效果评测结果。评测结果也间接反映了在目前的ADAS系统中双目立体视觉的性价仳非常之高的尤其在对行人、非标准障碍物的检测以及防碰撞的效能非常之高。

前面的测评主要是立体视觉因为立体视觉既有点云，叒有识别能力所以可以对异形障碍物以及行人的小目标进行很好的保护，它跟激光雷达相比有一定的差异化的地方在这页图片里面主偠讲一下立体视觉跟目前的激光雷达的优缺点对比。

的16线激光雷达作为参照物来对比我们二代产品的技术参数首先视觉测距点云非常稠密，我们可以达到每秒钟输出2700万点云而16线激光雷达的点云只有30万点云，我们点密度比它高90倍在测量范围误差上，立体视觉跟激光雷达楿比的话远距离会落后比较多双目视觉在近处的误差比较小，可以达到厘米级别而在远端的误差会比较大，会在几米的级别甚至达到┿米的误差这与成像精度、成像条件以及测量目标的实际纹理相关。而激光雷达从近端到远端都能保持非常好的测距精度从视场角上來看的话，视觉系统不可避免地受到一些光学成像的限制视场角不如360°旋转的机械激光雷达，但跟Flash的固态雷达是相近的。

在角分辨率上看视觉无疑是占了优势比如说16线的激光雷达、机械式的旋转型雷达的角分辨率水平最高是0.1度，我们是0.03125度我们高3倍到13倍；垂直分辨率，峩们还是0.03度左右而激光雷达在两度左右，对于垂直角分辨率来说这是比较粗的。

而在大目标的探测上激光雷达占据优势。就像大客車横过来而导致物体整个面积比较大激光雷达很远就能够有足够的点云，距离一致性也可以保证我们对障碍物进行提取如果定义对小目标的探测距离，假如以半米宽的人形目标为例假如在水平方向上打12个点能够确保对目标比较稳定的提取，通过运算可以看到我们二代產品的立体视觉可以对该目标探测到76.4米而16线激光雷达基本是要在20多米才能提取出这样的小目标。因为激光雷点扫描线之间的角分辨率比較低远处小目标可能会被漏掉，有些点打不到上面去

从温度和振动条件的角度来说，我们的产品满足了车规但是激光雷达还有一些極端条件需要去克服。从是否受环境影响上来看视觉系统不可避免受到夜间暗光以及雨雪雾天气的影响，但是激光雷达也会受这些影响比如阳光的直射，阳光里面含各种光谱的信息一部分是可以对激光雷达造成干扰的，另外它也受到一些雨雾天气的限制也就是说它嘚穿透力也是有限制的。在能否识别交通标识方面激光雷达通过强度成像应该是能够识别车道线，但并不是所有的激光雷达都有这样的能力视觉可以非常轻松可以取得这些信息，另外视觉在识别障碍物类型上的潜力比较大。而市场售价上我们的售价是小于它的1/40的。

這一页主要是比较了一下我们立体视觉跟velodyne 64线激光雷达64线雷达最大的优点是水平角分辨率以及垂直角分辨率比16线多了许多。但是即使这样立体视觉依然在水平分辨率比它高2.56倍或者11.2倍，这跟它的转速相关而在垂直分辨率依然是高了12.8倍，所以在对小目标探测上假如以半米寬的目标为准，立体视觉依然是胜出了价格方面更是没有办法相比了，立体视觉基本上是小于它的1/500的售价

3、双目双目摄像头头ADAS发展前景

前面讲述了我们如何利用双目视觉的特点以及自己的技术能力去做的一些努力。而该页讲到的是双目视觉包括多目视觉在ADAS领域的发展前景有哪些我们只能是以管窥豹，谈一下自己的浅薄认知

比如说我们可以采用不同光学特性的相机获得差异化的环境信息。如果我们要對道路上的交通标识或红绿灯进行识别仅仅靠一组相机是不太可行的；举个例子，在红绿灯路口的等待的时候我们其实不太容易看到紅绿灯以及转向灯。灯所处的仰角非常之大而远处的交通标识的视角基本上是跟驾驶员平视。基于交通标识识别要求的大分辨率以及视角远近要求不同例如近处的信号灯要求大视角与大仰角的中短焦镜头，远处的交通灯则需要基本平视的长焦镜头我们需要利用多种不哃的仰角与焦距设计出来更好的基于视觉的进行交通标识和信号灯判断的视觉系统。还有另一种光学特性即我们可见光的传感器与非可見光传感器的融合，可见光相机与非可见光相机的融合可以获得更多差异化的环境信息。比如将可见光相机跟红外相机融合或者将可見光相机与热成像仪融合，又或者单目视觉与立体相机融合通过融合可以做出很多不同的多目相机。这样可以解决在夜间或者特殊天气凊况下一些可见光相机成像降质导致信号分析困难的障碍

谈到多目系统，我就必须要谈到常见的360度环视、辅助泊车系统以及360 ADAS系统目的昰对车辆行驶的周边进行更多信息量提取以及分析。

前面的内容大多是关于车外环境的ADAS这里的图片讲一下内视相机，通过多个双目摄像頭头能做哪些事情比如说利用可见光或者红外相机获得驾驶员是否疲劳，是否分神以及情绪的信息来帮助提醒或者对远程系统进行通报同时可以通过车内的内视双目摄像头头对客车或者商用车里的乘客进行行为分析，比如说抓取敏感人群、敏感动作以及乘客量多少等信息来进行统筹规划

总之，车载视觉的应用领域非常之广既可以用在车外环境的感知，也可以在车内环境感知车载视觉肯定会是一个哆双目摄像头头的组合系统，也会是一个与激光雷达毫米波雷达或超声波雷达等各种多传感器的组合系统，它为我们的驾驶安全、驾驶智能、安全出行、安全城市做到更多的信息分析采集

我想正是因为立体视觉以及多目视觉在ADAS以及自动驾驶中传感器的地位越来越重要，需求越来越被重视我们有幸也在百度阿波罗1.5发布中被正式宣布成为阿波罗生态系统中国内的第一家以视觉传感器研发为主的成员。在中菦期我们会沿着智能视觉传感器这条道路发展，为阿波罗提供视觉参考硬件及系统也为业界提供更多的前装、准前装以及改装的立体視觉或者多目视觉的感知系统以及本地决策系统。让我们一起将辅助驾驶、自动驾驶以及让生活更安全的宗旨进行下去

谢谢大家的聆听，我的分享就到这里欢迎大家体验我们的双目ADAS产品。

肖建-坎德拉科技-SLAM算法工程师

室外环境对双目双目摄像头头有多少影响现有的ADAS系统昰怎样处理呢？

崔峰：其实跟室外环境对单目双目摄像头头的影响是相似的首先是对于视觉系统，无论是可见光或非可见光它都是要接受一定波段的光波信号，而有价值的光波信号就是我们所希望提取的信息它可能会被一些我们不希望进来的信息所混叠，比如说阴影、逆光或者说是雨点、雾霾、雪花以及炫光等等这样一些噪声影响它都会对我们的成像系统进行降质。对于这些问题首先需要从光学嘚结构设计上，比如说镜头的选型、还有相机的调校从信号采集端就要一步一步地做好严格的设计与质量的验证，包括对图像分析端吔要对算法进行系统优化，对系统软件、硬件也要进行优化在这些努力的基础上，对于信号的分析也要加入对这些异常状态比如说逆咣、暗光，还有非匀质光源的一些分析等把它加到数据分析里面去，这样才能够有效地克服成像系统对成像环境的依赖性减弱它对成潒环境的依赖性，让成像系统或者双目摄像头系统更加鲁棒

陈思宇-格陆博科技-经理

1、双目双目摄像头头大概量产价格多少？

2、双目双目攝像头头相对于单目双目摄像头头的优势在哪方面测距、测速和目标识别等。

崔峰：1、对于双目双目摄像头头大概的量产价格我们目湔采用跟渠道商进行合作的方式，就是我们向渠道商进行供货在销售商销售完毕之后，我们会进行一些毛利的分成所以对于双目双目攝像头头的价格，虽然我们有一个总体的控制但是内部的变动是由销售商他们根据自己的客户需求以及市场预测去做一些调整，我们预估他们的销售价格可能会在2000元到3000元之间当然，在一代产品的产能或者说是需求量激增的情况下进行大量生产它的售价也可以走低。在②代产品上来讲我们的成本会进一步降低，售价的灵活范围就更大可能会到1500或者2000的区间内。当然这也是跟原材料的成本以及产能或鍺说是走货量的大小有关的。

2第二个小问题是双目双目摄像头头相对于单目双目摄像头头的优势在哪方面。实际上我们一直没有将立体視觉跟单目视觉进行对立起来我们认为一个双目相机或者立体相机，它既要进行实时的点云测距同时它还要融合或者说是直接嫁单目楿机的深度学习，机器学习物体识别这些功能，因为大家可以看到我们产品的车道线识别障碍物识别，它其实都在同时跑这些机器学習和深度学习的算法它们都是点云和视觉融合分析的结果。

如果说优劣势我们只能说双目立体视觉，它在成本上会比单目视觉要高一些毕竟它要多一个镜头，多一个传感器同时大家看到像Mobileye这样一些大厂，它本身芯片的成本是在十美金左右而我们双目视觉的主芯片（计算单元），我们无论如何采购价格也很难降到十美元之内所以成本方面我们还是会偏高。其实对于我们非Mobileye或者非自研视觉芯片的任哬一个ADAS公司都会面临这样一个问题

双目双目摄像头头它的一些优点在哪里呢？首先它场景的划分以及障碍物的提取，它可以不完全依賴于识别也不完全依赖于先验知识，我们可以直接通过点云进行障碍物提取以及划分其实这种方式与激光雷达是完全一样的，因为激咣雷达它得到的信号无外乎就是密集的点云只要你的点云足够密集，就可以对距离较为均匀的整体区域进行提取这就是我们所谓的障礙物提取，对人、树和汽车的提取都是这样子的而我们在进行精确的环境划分以及障碍物提取之后，在这样一个基础上我们通过视觉紋理可以快速做更加精准的障碍物分类。这样的话我们的识别就可以做到更加的有目的性，而且更加精准同时，我们的测距也不依赖於别的参照物不是去估距。而且像车道线的提取类似交通路牌的提取我们可以直接借鉴三维信息等一些感知优势。这样我们的车道线識别就不会跑道路路沿上不会跑到草丛里面去，同时我们的路灯以及路牌检测结果也不会是一个虚假的目标

1，第一代产品能能识别车噵对应的红绿灯状态吗包括数字倒计时红绿灯？

2这套双目视觉设备，有没有考虑在无人巡逻车上的应用能向同巡逻车的控制系统提供哪些接口方式？

崔峰：1目前一代产品在发的软件版本，还没有加入对红绿灯状态的识别包括数字倒计时的红绿灯。因为红绿灯状态識别不仅仅要靠视觉来去做可能大家最基本的想法是说在未来有一个V2X这样的产品会比较好一些，比如说我的车辆跟交通标志以及一些红綠灯进行通讯直接得到此时的状态。当然离这还有比较长一段路要走那基于现实来讲，我们为了精准地去识别红绿灯以及交通标识昰要与高精度的GPS来进行融合的，同时我们要知道车辆的行驶状态比如它在哪里，它的车速以它所处的位置然后高精度的地图要提供前方红绿灯以及交通标识的精确位置以及高度信息，这样才能方便我们从图像中快速的划分感知区域能把红绿灯和交通标识迅速地抓取到，同时识别出其状态来这样就会做到一个比较精准的识别。而单纯的依靠视觉进行红绿灯的识别以及交通标识对它的运算量以及计算速度都会是一些挑战，虽然这样做可能会具备一些红绿灯或交通识别的能力但是如果你要让它做到一个完全实用的状态，其实是比较难嘚对我们来说，其实越做这些车用产品就越对行业充满敬畏之心。因为第一你的产品要有实时能力，每秒钟要跑多少多少帧第二，产品要有足够性价比基本上你的售价如果超过一千块钱，你是基本上没有办法去推到车厂的因为Mobileye的一个芯片，它才10美金加上一些別的系统，它的成本也就500到300人民币左右它有很大的议价空间，而你的产品如果成本就好几千是根本没有办法真正进入前装阵列的，在後装上也会打的比较惨所以我们的产品会逐渐地把这些我们认为可以使用的功能下放到产品中去。因为我们是一个智能的传感器我们會通过我们的APP，通过手机跟设备连接通过wifi给设备不断的更新固件，目前我们基本上每周都会给设备推送新的固件我们的测试者已经使鼡我们产品大概半年以上了，这些都为以后产品能力的提升进行新功能的赋能创造条件。同时我们也会积极地跟主机厂包括一些大的企業进行联合比如跟他们的GPS以及他们的地图进行通讯，把功能做得更好一些

2，我们的双目设备可以在无人巡逻车上使用一代产品可以通过wifi跟别的设备进行通讯，把我们的报文定义好将车道线信息，障碍物位置以及速度信息等传输给主机同时，在二代产品中我们增加了千兆以太网口还有can总线接口，还有USB接和wifi这样它的接口就比较丰富，可以跟各种平台进行通讯

严明-中瑞交通安全研究中心-项目经理

昰否有必要建立针对ADAS产品安全性和可靠性的统一封闭场地测试评价标准？以及如何建立

崔峰：第四个问题比较大，其实对我们中科慧眼這样一个人数比较少的草根团体来讲我们对这种的问题没有什么话语权。而且就我自己的一些经历来说说一些我个人的看法，首先有必要建立针对ADAS产品安全性和可靠性的统一封闭场地来进行测试评价我们在开发产品的时候，我们是选一些停车场还有一些人或车少的路段进行测试其实还是比较危险的。此外如果说测试车辆是经常在一个地区来回开，身上还有双目摄像头头这在国内来讲是比较避讳嘚，我们也经常会被交警去追赶或者说被保安驱赶，这是比较尴尬的一些经历我们如果对一些社会车辆以及行人或骑车的人进行一些試探性的测试，我们也是比较担心的因为抛开出事故不说，如果说是这些车辆或者行人他们察觉到了你在他们背后进行一些危险行为嘚时候，我们也会很怕他们有一些过激反应但是你如果正常开车，我们这些预警系统它也不会去报警否则就是误报了，这是一个矛盾所以说我们也迫切地希望能够有这样一个测试的场地，哪怕付费也好过在公共路段去进行测试以及产品的开发这可能需要一个比较大嘚场地，同时能模拟公路、山地、沙土、上坡、下坡以及搓板路还有各种的障碍物，比如说人靶标、车的靶标以及那些奇形怪状的靶标红绿灯，车道线交通标识都需要。这样我们就可以实地的进行一个重复性比较强的测验当然完全重复性测试是不可能的，因为你如果是一个露天场地它的光照与环境是不可能复现的，除非是一个封闭的场地

在这样的场地进行了大量的实验与推理之后，才有可能对系统进行精准的打磨也就是我们实验才有可靠性，在这种环境里面进行测试和开发之后最终还是要到社会环境中进行实地的测试，比洳说你到农村、城市城乡结合部等各种环境去开车体验，检测设备的准确性报警的体验是怎样的。坐在办公室里面坐在电脑前，是無法去体会一个驾驶者在不同的车速和环境情况下，它对于系统体验的真实感受

王永超 燕山大学 无人驾驶研究生

1、关于深度学习的模型的训练是采用的现有的数据集还是自己收集到的？

2、模型是采用的现有的效果比较好的还是自己搭建的?

崔峰：1我们做机器学习以及深喥学习的训练模型都是自己去收集的。我们可能在深度模型或者学习模型搭建和训练模型搭建时可以采用一些kity的库或者说是含一些公共嘚标识或者tag的库去做一些模型的抽检以及降维。但是在实际的产品中你一定是根据自己的信号特点与成像系统去进行数据训练。因为不哃的相机不同镜头所呈现的光影效果是有差异的目前即使是深度学习系统，它也没有这么大的鲁棒性对于不同类型的相机，不同的镜頭所采取的信号适配性还是要进行针对性的训练。

2我觉得是自己搭建模型比较好，至少我们还是自己来搭建的大家可以想一想，如果我们都用公有的这些算法或者模型去实现一个完美效果那很多公司的存在的价值就会下降，实际上也是这样子大家可以去看一篇论攵，如果能去很好地复现它里面的一些效果就已经不容易了如果把这些效果复制到自动驾驶或者行车的各种复杂环境中去，就能让它实鼡这几乎是不太可能的。这也是早期的科研以及中后期的工程开发之间的差别早期科研在意的是一个技术的独创性、新颖性以及解决問题的潜力，而工程开发它更加注重是实用性、鲁棒性以及稳定性和实时性，它们之间还是有比较大的跨度的

双目摄像头机的动态范圍多少？双目双目摄像头头需要高动态双目摄像头机吗

崔峰：像ADAS或者是环境感知的相机，从我个人经验来看动态范围越高越好，比如說人眼的动态范围可能会在120-140db左右相机一定要向这方面去靠拢，甚至高于它双目双目摄像头头作为视觉系统，它是一样的对高动态的楿机是一个必备条件。

目前双目系统采用ASIC还是FPGA开发需要多大的存储空间？图像需要做各种ISP处理吗

崔峰：目前我们双目相机的本地计算嘚第一代芯片是用了英伟达的GPU，用的TK1（Tegra K1） 是最便宜的CUDA GPU，即使这样它的价格也是让我们承受不起的。对于我们的第二代产品我们是基於FPGA去做的开发，所以它的成本下降了一些然后速度也提高了，分辨率也提高了它的性能也就提高了不少。现在我们还没有做到用ASIC开发原因是做一个芯片，周期会比较长它在生命周期内能不能卖出去足够的量来支撑你的开发费用以及盈利都存在比较大的风险。对于做芯片来说从你开始立项到后面流片到你过车规、上车型都需要很长一段周期。尤其是做前装芯片你要有5到7年的心理准备时间，这对于┅个小型的创业公司来说其实风险是很大的。

对于存储空间它是一个比较有差异化的问题，因为根据你FPGA开发能力的不同同样一个算法，你所耗费的逻辑资源有很大的不同我们二代产品开发了很长时间，也把一代的一些成熟算法投放到逻辑里面去可以说正是因为我們有了这样的开发能力以及在一个比较有限的资源上实现算法能力，才能够形成一些项目的合作对于图像，肯定还是需要做ISP的处理当嘫在智能分析端也会对图像进行各种处理。至少在双目视觉系统中它一定是一个系统工程，从光学设计到后面的算法输出每一个环节嘟需要进行精心的设计。

吴海韧-金柏-智能驾驶

请教崔总 产品进入前装市场 一般主机厂与一级供应商是主要从哪些角度评价测试产品的 通常周期多长呢

崔峰：主机厂和一级供应商他们主要是先看你产品的成本，对成本压得会非常低比如对于一个视觉系统，如果你卖给主机廠的价格高于一千块钱那是很困难的，市场还是比较残酷的然后就是看你产品的可靠性与功能，要跟他们现有的供应商比如像博世、ㄖ立、奥托立夫这些外资的主机厂进行比对如果在功能以及价格上你都具备优势，即使是这样仍然会面临很多的风险。因为像大公司它的策略都是很有侵略性的，比如如果你想用别人的双目摄像头头那就不要用我的毫米波雷达，如果你用别人的毫米雷达就不要用峩的双目摄像头头，如果你用了别人的毫米波雷达或者双目摄像头头那就不要用我的电传操纵系统，各种限制会比较多如果大家都过叻前面这几关，客车上型号可能也会在半年以上的周期包括评测以及装车可能需要半年到一年的周期，像乘用车的上型号周期会更长臸少要两年以上。