第一本无人驾驶技术书(第2版)

"无人驾驶华语原创首著升级版！全面梳理无人驾驶技术推荐阅读之作！
增补内容超过50%|彩色插图|更多实例|
●无人驾驶技术概览
●深度剖析无人驾驶中的行为预测、感知、定位、决策、规划、控制技术等模块
●解析深度学习、强化学习、计算机视觉在无人驾驶中的应用
●无人驾驶高精地图、通信协议、模拟器技术、ROS系统、硬件平台、安全、边缘计算等多个主要技术点
适合对无人驾驶技术感兴趣的在校学生、工业从业者，以及相关人士阅读。
"

介绍无人驾驶这个庞当的AI综合体推荐的技术点。在版的基础上，更新很近一两年的技术发展变化，并补充新的知识点，如高清激光雷达、对抗样本攻击等内容，辅以开源代码实践。

"刘少山，PerceptIn创始人，CEO。美国加州大学欧文分校（UC-Irvine）计算机博士，研究方向包括智能感知计算、系统软件、体系结构与异构计算。在创立PerceptIn之前在百度美国研发中心、LinkedIn、Microsoft、Microsoft Research、INRIA、Intel及Broadcom工作过。在百度美国研发中心时主要专注于百度无人车系统架构与产品化、深度学习，以及异构计算平台的架构与开发。目前主要专注于机器人的核心SLAM与深度学习技术及其在智能硬件上的实现。

唐洁，华南理工大学计算机科学与工程学院副教授。北京理工大学计算机应用博士，美国加州大学欧文分校加州嵌入式系统研究中心博士。曾在Intel China Runtime Technology Lab、美国加州大学河滨分校（UC-Riverside）及美国Clarkson大学从事研究员与博士后研究工作。现主要从事面向无人驾驶和机器人的大数据计算与存储平台、面向人工智能的计算体系架构、面向机器视觉的嵌入式系统研究。

吴双，依图科技研究科学家，依图硅谷研究院负责人。前百度研究院硅谷人工智能实验室资深研究科学家，前百度美国研发中心不错架构师。美国南加州大学物理博士，加州大学洛杉矶分校（UCLA）博士后，研究方向包括计算机和生物视觉、互联网广告算法和语音识别，曾在NIPS等靠前会议中发表文章。

李力耘，现任职于京东硅谷研发中心自动驾驶团队，担任主任架构师。在加盟京东硅谷研发中心前就职于百度美国硅谷无人驾驶团队。作为百度无人驾驶项目的很早期成员之一，并参与搭建了无人驾驶系统的若干核心模块，包括车辆预测、行为决策、动作规划等。李博士拥有三十余项靠前外自动驾驶。本科毕业于清华大学电子工程系，随后在纽约大学获得计算机博士学位，专攻机器学习及大数据方向。在加入百度前，在LinkedIn公司任不错软件工程师，参与并负责LinkedIn的首页内容推荐系统的算法设计和工程架构。

焦加麟，Pony.ai资深软件工程师，美国密歇根大学电子工程硕士，在无人驾驶、高精地图、人工智能、机器学习、搜索、大数据等领域有多年从业经验。曾任职于Uber美国总部、微软搜索引擎Bing、IBM T.J Watson Research等部门。

鲍君威，美国加州大学伯克利分校博士。在光学精密测量仪器及传感器领域有近二十年工作和研发经验，2016年11月与李义民共同创立Innovusion公司，任CEO，开发应用于自动驾驶及其他行业的激光雷达产品和传感器融合技术。在博士期间和师兄们共同开发了Scatterometry技术并创立Timbre Technologies, Inc.，后被Tokyo Electron（东电电子）并购，并在随后的十几年里带领Tokyo Electron在硅谷的光学测量部门将Scatterometry从原理模型变成在优选半导体生产制程中得到广泛应用的精密测量设备。2015年年底加入百度自动驾驶事业部，负责车载计算系统及传感器团队。

王超，美国南加州大学计算机硕士。毕业后加入百度美国硅谷研发中心，从事大数据平台的基础架构工作。2015年年底加入百度自动驾驶事业部仿真组，2017年加入滴滴美国研发中心自动驾驶团队。作为百度和滴滴自动驾驶仿真模拟器和数据平台的创始成员，始终专注于自动驾驶系统仿真平台的研究与开发。先后设计开发了仿真引擎调度系统、场景评估系统、场景生成器、场景倍增系统，以及分布式仿真系统等产品。工程理论经验覆盖仿真平台全部流程。

裴颂文，现任上海理工大学光电信息与计算机工程学院副教授，研究生导师。中国计算机学会（CCF）不错会员，IEEE Senior Member，CCF系统结构专委会常委。在IEEE Trans. on SMC、Information Sciences、IEEE ESL、CCPE、《中国科学》、《计算机学报》、ISPA、COMPSAC等期刊杂志上发表学术论文50余篇，拥有国家发明10余项。研究方向为异构计算、深度学习、无人驾驶汽车安全系统、云计算等。

陈辰，美国斯坦福大学电子工程博士。高精地图初创公司DeepMap创始工程师之一。目前在DeepMap负责多传感器数据融合、大规模分布式优化及三维数据机器学习算法开发工作。

邹亮，美国佐治亚大学地理信息科学硕士。2006年加盟谷歌地图，9年时间里，他所领导的小组设计并实现了高效的卫星和航空图像软件处理系统，每周处理的数据量达到500TB，准确高效地为Google Earth和Google Maps用户输送数据更新。2016年，作为创始工程师加入了DeepMap，负责高精地图的采集、制作、更新和维护整个流程及大中华地区的工程技术。
"

    "无人驾驶：可预见的未来
期待在不远的未来，所有行驶的汽车都是无人车，我们将迎来一个更安全、更清洁的世界。得益于无人驾驶技术，未来我们的交通模式将变得更安全、更高效，极大地降低对石油燃料的消耗，减轻对环境的污染。但是我们必须承认，无人驾驶技术的普及是个渐变的过程，不可一蹴而就，这个美好的未来还需要几代技术人的共同努力方可实现。笔者认为2020年和2040年是无人驾驶发展的两个重要时间节点，据此可以将无人驾驶划分为以下三个阶段。
无人驾驶的黎明：2020年前
随着过去几年无人驾驶“风口”兴起，越来越多的资本与研发力量投入无人驾驶领域。但是，无人车是一个相当复杂的工程系统，需要众多技术的融合与准确配合，且不可能依赖资本的力量在短期内迅速爆发，而需要长期的积累与投入。在2020年前，更紧迫的是让这个萌芽中的行业完成行业链条顶层即人才层的基础储备，让更多的技术人员了解无人驾驶系统，积累行业素养和开发经验。
混合模式时代：2020—2040年
2020—2040年是无人驾驶混合模式时代。考虑到一辆机动车的使用寿命是10~15年，我们可以预见传统的人为操控汽车及无人车共存的情况将持续至少20年。早期的无人车被设计为能够理解并能处理传统的面向人为驾驶的交通系统。随着无人驾驶的普及，交通系统将大规模部署V2X设备，逐渐演化出对无人车更友好的模式。此外，无人车之间的通信量将急剧增加，从而更好地完成行驶过程中车辆的动态协调。在这一背景下，持续产生的大量数据将推动AI算法持续修正与进步。
无人驾驶时代：始于2040年
到2040年，预计所有的汽车将接近转变为无人驾驶模式，此后人为驾驶会成为一件罕有的事情，甚至可能由于缺乏足够的安全性被判定为非法行为。届时，我们将迎来全新的交通生态系统，在这个系统下，所有的车辆都处于集中控制模式。基于无人驾驶的自动交通运输将像供电、供水一样，成为日常生活中的基础设施。得益于改进的导航系统及传感器对路面和车辆老化状况的检测，传统汽车行驶中每年发生的交通事故数量将由现在的超过百万起降低至几乎为零。当然，正是由于无人驾驶驱动的公共交通对资源的有效共享与分配，整个城市的交通系统只需要较少量的汽车便可以正常运行。一方面，能源的使用效率将被极大程度地提高；另一方面，新的清洁能源将大规模地替代传统化石燃料，空气污染程度将大规模地降低。
无人驾驶的商业前景
谈技术不谈落地就是在建造空中楼阁。无人驾驶应用怎么落地？它的商业潜力到底有多大？这些都是笔者从业以来一直在思考的问题。从本质上讲，无人驾驶和互联网的共同之处在于：它们都通过去人力化，降低了传输成本。互联网降低的是无形的信息的传输成本，而无人驾驶则降低有形的物和人的运输成本。对比互联网已经产生的商业影响力，就可以想象无人驾驶的商业潜力。谷歌、优步（Uber）和特斯拉等公司不断地展示技术上的进步，传统车厂已经越来越清晰地意识到，无人驾驶技术即将为汽车商业模式带来颠覆性的改变，这可能是自内燃机发明以来汽车行业很重大的变化。需要强调的是，我们还处于无人驾驶商业化的萌芽探索期，整个商业链条的每个环节都没有准备好，在过去几年，虽然无人驾驶企业的融资额屡创新高，但是在商业落地上却鲜有成功案例。笔者认为这个行业的商业孵化还需要五到十年的探索期才会逐渐清晰。
目前TaaS（Transportation as a Service，运输即服务）2.0或者RoboTaxi模式，正在成为无人驾驶业界探讨的热点。这里将TaaS 1.0定义为有人驾驶，而无人驾驶RoboTaxi则属于TaaS 2.0时代。摩根士丹利公司在一份报告中表示，实现接近无人驾驶将极大地降低出行拼车成本，每辆车的运输成本将从目前的2.4美元每千米降至32美分每千米 。无人驾驶提供了端到端的运输解决方案，借助它，货运环节可以不需要任何人工干预，全程自动化运输，中间经历的轮船运输、海关通关、高速公路运输和城市派送等多个环节的调度都可以在云端完成。这一运输模式的变化对于传统车厂的影响是巨大的，一旦汽车从私人拥有变为共享运输工具，传统车厂的目标客户就将由个人消费者转变为TaaS运营商，汽车厂商很难维持原来的强势地位。这样的愿景很美好，但是在目前技术储备不完备及架构成本高居不下的情况下，笔者认为RoboTaxi在短期内很难实现。
因为目前无人车的初装成本很高，普通消费者难以接受，所以笔者认为无人驾驶可能会优选入特殊群体。很有可能采纳无人车的行业包括公共交通、快递、工业，以及为老年人和残疾人士出行服务的行业。
公共交通
德克萨斯大学奥斯汀分校的一项关于共享无人车（SAV）的研究表明：“每辆SAV可以取代约11辆常规汽车，运营里程可以增加10%以上。” 这意味着，基于车辆共享的约车或出租车服务将缓解拥堵，大幅改善交通和环境。无人车将成为公共交通系统的重要选择。随着Apollo计划的推广，百度会逐渐把无人驾驶技术渗入公共交通市场。目前，百度已经获得靠前几个地方监管部门的批准，在事先确定的路线进行试验。一些城市还考虑将某些街区划定为无人驾驶专区，城市规划部门将进行区域优化，使其专门为无人驾驶服务。在30或40个所辖街区将不再出现人驾汽车和无人车同时存在的现象，由无人驾驶出租车和共享出行车辆提供全部的交通服务。
快递用车和工业应用
快递用车和“列队”卡车将是另一个可能较快采用无人车的领域。在线购物和电子商务网站快速兴起，2018年，中国电商销售总额达到37万亿美元，很多产品承诺当日送达，这促进了快递用车的发展。卡车占美国机动车行驶里程的5.6%，却占交通死亡事故的9.5%。 使用无人驾驶可以有效地避免人员伤亡，提高车辆使用的经济效益，创造不少增加值。另外，大型卡车自身成本通常超过15万美元，安装摄像头等感应器的成本效益比较高；相比之下，小型轿车的自身成本原本就较低，在无人驾驶初期受限于高成本，难以实现大规模推广。
老年人和残疾人
由于身体条件的，老年人和残疾人这两类人群都面临出行困难。到2050年，美国老龄人口预计超过8000万，占总人口的20%。 中国也面临同样的情况，到2050年，中国老龄人口预计将占总人口的33%。日本的人口老龄化问题更甚，到2060年，65岁及以上人群将约占日本总人口的40%。这些老龄人口中有三分之一将面临出行问题。而在残疾人的出行市场中，约13%的美国成年人有出行障碍，约4.6%的成年人有视力障碍，成年残疾人总计5300万人，占成年人人口的22%左右。这些老年人和残疾人士的出行需求为无人车提供了庞大市场体量，在这两个消费群体中，无人车已经开始大规模应用，市场发展目标明确。
无人驾驶面临的障碍
由于整个无人驾驶行业的商业链条不完备，无人驾驶商业化还处于初级阶段，无人驾驶的发展面临方方面面的挑战。笔者认为：无人驾驶在技术层面面临恶劣天气、行车安全、隐私保护、基础设施不完善、5G通信尚未成熟等问题；在社会层面，无人驾驶需要应对事故追责、行车立法等问题。其中有些挑战是需要通过制度改革和社会行动才能跨越的，需要全社会、全行业长时间地探索和努力。
恶劣天气
在恶劣天气里，无人车无法良好运行，大雨、大雪或大气雾霾遮挡道路标识和车道标记，影响激光雷达感应器，分散或阻挡激光束，降低摄像头捕捉图像的能力，因此增加了事故风险。这个问题一直是无人驾驶技术面临的一大挑战，在过去几年内也没有得到很好的解决。
行车安全
安全是无人驾驶行业的重要考虑因素。无人车运行依靠V2V的交流，以及V2I的连接。维护这些通道及电子邮件、电话、短信、上网和定位数据等乘客个人电子通信的安全至关重要。联网车辆面临的威胁包括黑客攻击、人为干扰、幽灵车或者其他恶意行为，如使用亮灯导致摄像头无法捕捉图像、干扰雷达或操控感应器等。上述每种行为都能扰乱通信和运算，造成.人工智能运算出错。
隐私保护
无人驾驶隐私保护更关注数据的保护。一方面，汽车制造商和无人车服务企业的隐私政策允许披露行车信息，用以“解决问题、评估使用和研究”。另一方面，一旦这些信息被非法转卖，匿名第三方极有可能将其用于营销甚至诈骗，损害消费者的利益。因此，为了保护无人驾驶的隐私：一方面，应该提高网络安全标准，保证所有制造商能采取有效保护措施，尤其要加强无线网络下的数据加密保护；另一方面，需要提高设计安全性以减少攻击点，增加第三方测试、加强内部监督系统、设计分离架构以任何成功入侵造成的损害，以及不断更新升级安全软件以加强隐私保护的实时性。
基础设施不完善
车辆行驶需要可预测的路面和标识清晰的车道，如果道路标识不到位或工程质量不佳，半自动驾驶汽车或全自动驾驶汽车都无法顺利行驶，也很有可能做出错误判断，事故风险随之上升。桥梁也是自动驾驶汽车面临的特殊问题。桥梁提供的环境信息很少，桥面不像路面，上面没有建筑物，导致车辆很难分辨确切位置。基础设施不完善的问题在现有交通发展的同时，更扼制了无人驾驶的萌芽和起步。
5G通信尚未成熟
要实现无人驾驶的优选目标，不可避免地要解决网络延迟问题。信息延迟对无人车而言十分危险，在当前的4G技术条件下，一个刹车信号晚发出半秒就可能造成一次严重的事故。一方面，5G能根据数据的优先级分配网络，从而保证无人车的控制信号传输保持较快的响应速度；另一方面，5G允许近距离设备直接通信，两车在行驶过程中近距离直接数据连接的效率远高于绕道基站进行通信的效率。这样可大大降低网络整体压力并降低平均延迟。只有解决了网络延迟问题，无人车技术难题才能得到进一步解决，未来的智能网联汽车才有机会完美实现车与人、车与车等范畴的智能信息交流共享。5G技术成熟的时候，信号延迟问题才真正有望得到解决。
事故追责
目前，保险公司根据司机年龄、性别、经验等进行详细的风险评估，并依据超速、酒驾、忽视道路标示或撞车等因素确认事故的责任方。无人车不容易受到人为失误影响，因此无人驾驶将更多责任从司机转移到制造商和软件设计者身上，有效改变了以往行车事故的法律责任归属，接近颠覆了在此基础上建立的法律体系和保险规则。无人车真正投入市场需要一个过程，新老汽车混合的复杂局面将长期存在，造成事故的追责更困难且复杂。由此可见，要实现全面发展，自动驾驶汽车行业必须在清除技术障碍的同时，开始着手解决法律责任的问题。
行车立法
目前，公众对无人车的接受程度还处于中间状态。在此期间，无人车面临的人为因素造成的危险多种多样，如将激光照在汽车摄像头上以破坏导航系统、攻击计算机代码、恶意控制刹车和转向、恶意将物体置于车前改变其运动，或发射电子信号改变其路线等。如果高速行驶的无人驾驶车辆遇到这种情况，后果会很好严重。政策制定者应考虑制定法律，将针对无人车的恶意行为定罪，通过对恶意行为立法，惩罚破坏无人车的行为。
结语
笔者一直认为2020年是机器人时代的起点，是继互联网后的又一个大的技术革命时代。君子顺势而行，能够在这个时间点从事移动机器人行业，我们都是幸运的。虽然无人驾驶目前还处于萌芽期，整个价值链条都不完善，但是作为技术人员，磨炼好技术、理解好行业才能更好地迎接这个大时代的来临。很后，真诚地期待本书能成为大家的本无人驾驶技术书，启蒙大家对无人驾驶的认识，引领大家投身到无人驾驶与移动机器人行业中来。
"

"本书深入浅出地呈现了无人驾驶这个复杂的系统。书中包括无人驾驶定位与感知算法、无人驾驶决策与控制算法、深度学习在无人驾驶中的应用、无人驾驶系统、无人驾驶云平台、无人驾驶安全等章节，既宏观地呈现了无人驾驶技术的架构，又很好地深入无人驾驶涉及的每个技术点。我相当同意书中的观点：无人驾驶并不是一个技术点，而是众多技术点的集合。无人车上路行驶的前提是每一个技术点都要做得很好，这就代表在每个技术点上都有很好的创新机会。例如，在无人驾驶芯片的设计上，使用低能耗的ARM架构加上不同的加速芯片（GPU、FPGA、DSP、ASIC）在性能与能耗上有很大优势。仔细读完本书后，我对整个无人驾驶系统架构有了很好的认识；当我想更深入地了解一个技术点时，本书也提供了很好的文献信息让我深入学习。毫不夸张地说，本书让我在短时间内对无人驾驶技术有了很好的了解。
安谋科技（中国）有限公司执行董事长兼首席执行官 吴雄昂

作为一名科技行业的从业者，我有幸近距离观察了许多所谓的颠覆性技术的生命周期。我的感受是，人们会将一项技术的近期作用无限夸大，对这项技术的长期演化往往估计不足。大家对无人驾驶的态度也一样，大多数人仅仅把无人驾驶看成一项技术，认为只要搞定算法、搞定传感器、搞定云与端的传输等就万事大吉，我们就进入了接近自动驾驶的时代。我认为这种想法很危险。首先，这是一种发明家而非创新家、投机者而非创业者的心态；其次，这些人没有充分认识到无人驾驶有着极大的安全属性与社会属性。
作为从业者之一，我坚定看好无人驾驶产业的长期趋势及其巨大的经济与社会效益，但在短期内，我们除了做好技术准备，更应该把眼光放长远，虚心地研究市场、研究用户、研究监管者、研究利益相关方，脚踏实地、一步一个脚印，共同实现无人驾驶这一可预见的未来。本书是我读过的有关无人驾驶很系统、很严谨的著作，值得有志于从事此行业的朋友认真阅读。
舜宇光学科技（集团）有限公司总裁、执行董事 孙泱

刘少山带领的是一个专业而高效的硅谷精英团队！感谢他们的努力，将神秘高端的无人驾驶技术拉下神坛，并以庖丁解牛般的专业功底逐层剖析。这本诞生于工业界的无人驾驶图书，将极大地缩短开发者、爱好者及相关人士迅速切入、深入学习和投身于人工智能无人驾驶这一热点领域的进程，实属可贵。
CSDN &《程序员》总编辑 孟迎霞

很高兴看到本书书稿， 我认为这是一本无人驾驶方面的专业书籍，对技术发展现状和工业实现都进行了很好的描述，并对未来做出了展望。书中内容包括了无人驾驶各个层面面临的技术挑战和可能的技术解决方案，特别是在决策控制部分有精彩的描述。 我相信本书对在校学生、研究生及工业界相关技术人员都有所帮助！
清华大学教授、博士生导师 樊平毅

当前，人工智能引起了优选性的关注，是一个可能改变世界的创新技术。无人驾驶技术是人工智能领域很重要的分支之一，其涉及的学科众多，是一个融会了大量新技术的工程实践。本书试图揭开无人驾驶技术的神秘面纱，使读者能够很快建立对无人驾驶技术的全面认识。本书从工程师的角度出发，全面介绍了无人驾驶技术的核心方向，包括环境感知、车载传感器、规划控制，等等。书中涉及无人驾驶的多个技术方向自成体系，针对每个方向中的核心内容讨论了系统的技术思路和解决方案，在很多重要的技术上给出了颇具深度的细节示例。本书作者有深厚的硅谷工程师背景，作者描述的无人驾驶技术已经不是象牙塔里的学术概念，而是贴近社会并即将走进大众生活的新一代科技产品的实践。
电子科技大学教授、博士生导师 雷维礼
"