一文读懂无人驾驶
点击下方卡片，关注“新机器视觉”公众号
重磅干货，第一时间送达
摘要：今天花了一天时间读了杨宽老师、陆盛赞老师的《一文读懂无人驾驶》，对无人驾驶重要发展路径、关键部件和核心技术、应用场景，商业多元模式，以及未来挑战和机遇都用通俗易懂的文字记录下来，完整的掌握自动驾驶项目的所有环节，书本是2022年2月出版的，强烈建议大家买一本回来读一下，这里分享一下读书笔记和摘要给大家。
一、无人驾驶的孕育
无人驾驶需要眼睛来认清路况和感知周围环境。摄像头、毫米波雷达、激光雷达、超声波雷达四种传感器，被称为无人驾驶的眼睛。
摄像头
唯一可以获取物体颜色、对比度 等细节图像信息设备，在识别物体方面具有明显优势。
激光雷达（100000GHZ 发射激光束）
距离最远和分辨率最高，但是在雨雪雾霾沙尘暴等天气受遮挡后无法使用，成本高，需要高算力芯片支撑。
毫米波雷达（30GHZ-300GHZ,主要采用振荡器，产生一个频率随时间逐渐增加的信号）
穿透能力强，分辨率高，能适应雨雪雾霾沙尘暴等天气，但是无法进行图像颜色识别，无法成像，需要摄像头进行互补使用。
超声波雷达（20000GHZ 通过超声波发射装置发射超声波）
频率低，消耗能量低，测距方法简单，成本低。探测范围在0.1米~3米时间精度高，因此非常适合用于泊车。但是传输速度很容易受天气影响，超声波散射角大，方向差，在测量远距离目标时精度很差。
标准体系建设
智能网联汽车是一项系统工程，涉及到智能网联汽车、信息通信、电子产品与服务、智能交通、车辆智能管理五大部分。智能网联汽车标准体系包括基础、通用规范、产品与技术应用、相关标准四大部分。
汽车智能化分成五个等级：驾驶辅助（DA），部分自动驾驶（PA），有条件自动驾驶（CA），高度自动驾驶（HA）,完全自动驾驶（FA）
汽车网联分成三个等级：网联辅助信息交互，网联协同感知、网联协同决策与控制
机器学习(machine learning)
不同机器学习的分类，对数学方法构建模型训练的算法各不一样，一般机器学习可以分成四大类：
监督学习：让机器做选择题，同时提供答案，机器努力训练模型，希望预测的答案与标准答案一致
无监督学习：让机器做选择题，但不提供答案，机器努力分析题目的关系，对题目分类，机器不知道标准答案，但是认为每一类题答案相同
强化学习：让机器做选择题，但是不提供答案，会有第三方老师判定是否正确，对的越多，奖励越多；机器努力训练模型，希望答案能获得更多奖励（达到目标的正向反馈）
迁移学习：把机器已经训练好的模型迁移到新模型来帮助训练。
深度学习（deep learning）
深度学习是机器学习的一个分支，主要优势在于特征提取，自动学习提取特征，减少人为涉及特征造成的不完备性。深度学习的基础感知机（percetron）类似一个神经元，有树突和轴突，树突负责数据输入，轴突负责根据输入是否超过一定的阈值决定是否传递兴奋。简单的神经网络的逻辑结构分成输入层（负责接收信号）、隐藏层（负责对数据进行处理）和输出层（负责处理结果整合）。若干个节点组成一个层、若干层组成一个网络，组成神经网络。
机器学习擅长分析维度比较低、层次比较少的任务，深度学习擅长分析维度比较高、多层次的数据比如图像、语音等。
业界流传:数据和特征决定机器学习的上限，而模型和算法只是逼近这个上限而已。
二、无人驾驶的成长
谷歌无人驾驶
2009年成立无人驾驶团队，第一代就是在传统汽车基础上，增加功能设定，能在简单路况下进行自主操作；第二代专注软件和算法，加强了复杂路况环境的感知能力，能主动对障碍物进行评估和主动调整。第三代取名萤火虫firefiy 无方向盘、无刹车、无油门、纯电动，加入可穿戴智能设计芯片实现手势和人工干预。
无人驾驶分级
美国主要车企直接跳过L3级别进入L4级别无人驾驶，因为L3级别自动驾驶是由汽车控制，需要人工频繁切换接管，存在人机责任明确划分的问题，与其耗费大量精力投入过渡阶段，不如直接研发不会频繁交接的L4/L5级别。L3级别情况下，出现事故与驾驶员仍然有关。
无人驾驶汽车过渡ADAS
ADAS 即使高级驾驶辅助系统，覆盖L1/L2级别功能，目前已经实现量产和商业落地，是辅助驾驶走向自动驾驶的基础。原理就是通过传感器手机车内外的环境信息，对收集到的数据进行处理，实现对驾驶员、车辆、环境的检测、辨识、追踪，同时通过警告或者主动控制等方式辅助驾驶员执行驾驶任务。所以ADAS系统包含了“传感器--控制器--执行器”三大部分。
辅助控制中英文对照表
AEB 自动紧急制动
EBA 紧急制动辅助
AES 自动紧急专项
ESA 紧急专项辅助
ISLC 智能限速控制
LKA 车道保持辅助
LCC 车道居中控制
LDP 车道偏离抑制
IPA 智能泊车辅助
ACC 自适应巡航控制
FSRA 全速自适应巡航控制
TJA 交通拥堵辅助
AMAP 加速踏板防误踩
ADB 自适应远光灯
AFS 自适应前照明
无人驾驶大脑--人工智能
人工智能理论框架---三大主义
符号主义（专家主义)
人工智能之父，约翰.麦卡锡发明表处理语言LISP使计算机不仅可以处理数据，还可以处理符号。符号主义的核心思想：人工智能源于数理逻辑，智能的本质就是符号的操作和运算，物理符号系统如果具有输入、输出、存储、复制、建立结构和条件性迁移六种功能就是智能系统。符号主义特别适用于自动推导、定理证明、机器博弈、自然语言处理等问题。
符号主义因无法处理不确定事物和常识问题，后面专家系统之父，费根鲍姆提出知识工程，设计基于专家知识的系统，机器使用系统中的知识进行推理解决问题。知识工程提出使人工智能从理论走向应用。
连接主义（神经网络）
知识工程无法处理交互和拓展问题，且只适合建立窄域专家系统，无法推广到大规模复杂系统。连接主义核心思想：思维的基元是神经元而不是符号，思维的过程是神经元的连接活动过程，反对符号主义关于物理系统的假设。
行为主义(智能主体)
行为主义核心：智能主体取决于感知和行为，取决于对外界复杂环境的自适应，智能主体不需要知识、表示、推理，智能主体可以像人类一样进化，分阶段发展和增强。
赋能无人驾驶
算力+算法+大数据+场景是推动人工智能技术进步和产业发展的四大要素。算力为人工智能提供了计算支撑，算法是实现人工智能的根本途径，大数据是人工智能的基础，或者说是“石油”，只有应用场景进行输出，才能发挥人工智能的价值。
芯片类型 优点 缺点 CPU 擅长处理逻辑控制、串行运算、技术成熟、协调能力强 不擅长复杂算法运算和处理并行操作，算力较低 GPU 可支撑大量并行计算，算力较高 功耗高、AI算力低于FPGA FPGA 算力较高、灵活性高 AI算力低于ASIC，开发难度大，价格昂贵 ASIC(TPU/NPU) 针对特殊性需求实现，体积小、重量轻、功耗低，性能高 灵活性差，前期投入大 无人驾驶汽车主要使用SOC芯片，集成了CPU\GPU\DSP（数字信号处理器）\NPU（神经网络处理器）等各类型芯片，加上外设接口，存储单元等。
CPU负责计算和整体协调，可用于定位、路径规划、自动避障、控制等
GPU用于目标识别和深度学习任务
DSP用于图片处理和特征提取
FPGA用于传感器融合、目标跟踪、路况预测等
NPU负责和人工智能深度学习计算相关的部分。
TPU 张量处理器，本质上是基于神经网络处理的专用ASIC(专用集成电路)
目前由代表性的SOC芯片主要用于智能驾驶、智能座舱、中央网关（实现车内互联互通）三个领域。
算法在无人驾驶汽车的应用
无人驾驶汽车包含感知、定位、预测、规划、导航、控制六个模块。
感知模块（perception）主要包括物体检测识别和交通信号灯检测识别两个部分。物体检测识别，即输入摄像头图像数据（卷积神经网络 CNN算法）、激光雷达的点云数据（卷积神经网络 CNN算法）、毫米波雷达数据（噪点去除、检测结果构建和ROI过滤）、输出三种传感器融合之后的物体具体信息，位置、形状、类别、速度、朝向等。交通信号灯检测识别基于卷积神经网络 CNN算法输出单张信号灯状态，再通过时序滤波矫正算法确认信号灯的最终状态。为保证数据准确性会经历预处理、融合、后处理再确认的过程。
定位模块（localization）核心是融合架构，包含惯性导航解算（将激光雷达点云定位输出、GNSS导航定位输出、IMU导航输出进行坐标转换统一）和卡尔曼滤波（误差修正）两种算法，主要目的是将定位模块中各架构的数据进行融合处理。
预测模块（prediction）从感知模块和定位模块得到自身物体识别信息、定位信息、环境信息、交通信息，最终输出具有概率的物体运动预测轨迹。先对物体分类，针对不同分类，采用不同预测算法处理。
规划模块（planning）某个时刻汽车位置的轨迹，本质上是一个时间到位置的函数。apollo采用先确认路径再计算速度分配的策略，将问题转化成路径规划（分段加加速度优化算法）和速度规划（启发式速度规划和分段加加速度算法）。
导航模块（routing）起点到终点的最优路径，关注整体规划，不需要考虑当前路况障碍物等，采用Dijkstra算法和A*算法。
控制模块（control）根据规划模块生成轨迹，计算无人车加速、减速、转向，实现汽车最终控制。主要包括纵向控制（速度，PID控制和MPC模型预测控制）和横向控制（转向，LQR线性二次调节器和MPC模型预测控制）两类。
不同芯片优缺点比对
大数据
大数据产业包括采集和整合、数据处理和存储、数据分析和挖掘、数据应用和消费四大主要环节。
核心流程：通过技术手段从互联网、终端、物联网等采集数据，然后把数据按照一定的规模进行处理并存储，再按需求调用数据，通过人工智能算法进行分析和挖掘，将数据转化成有价值的信息或产品，为不同领域的决策支持、效率提升、产品创新提供依据。
无人驾驶数据标注
数据标注：对传感器感知到的原始数据进行框选、提取、分类等一系列处理，转化成可识别的专业数据。经过标注的数据才能被使用，主要包含下面八个类别：
3D点云（框选雷达图中所有可移动物体）、Trace ID（对障碍物标注ID进行追踪）、freespace(对可行驶区域进行标注、边界线切割、道路语义分割)、人体、车辆、车道线、交通标志、人脸（驾驶员状态）。
无人驾驶应用场景
封闭场景物流或者通勤：已经具备商业应用基本条件
无人配送：小批量生产和测试
干线物流：与人类司机协作
无人环卫：技术相对成熟，已经逐步落地
无人泊车：渗透率逐步提高
无人公交：探索阶段
robotaxi:逐步走向民众
三、无人驾驶的爆发
5G技术发展，让汽车与外界的联网成为可能，进一步推动车联网的商业落地，也让无人驾驶分化出“单车智能”和”车路协同“两条路线。
蒙特卡洛树搜索算法：从初始节点出发，假设对手每一步都使用最优策略，每次选择对方值最优的一个节点，向下搜索，直到找到一个未完全展开的节点。在该节点的子节点中，选取一个未被访问过的数据，用来进行模拟，将模拟结果反向转播到初始节点，更新节点统计信息，当搜索结束时，根据收集的统计信息来决定下一步走么走，最佳的移动通常是访问节点次数最多的那个节点。
5G与无人驾驶
采用5G作为通信方式，如果加上边缘计算，可以实现1MS的时延，可靠性可以做到99.9999%，特别适合远程驾驶、自动泊车、高密度自动编队等场景。车联网通信主要由V2V车与车、V2P车与人、V2I车与基础设施、V2N车与网络（汽车通过移动网络链接到云服务器）四类通信组成，最早采用美国直接短距离通信（DSRC），我国提出的基于5G的蜂窝车联网C-V2X，逐步成为G5通信标准。
车载终端:（OBU on board unit）汽车与外界互联单元，一般作为独立组件装载到汽车中，ETC也是 OBU的一种。
基础设施终端：（RSU road side unit）通过对道路交通信息进行感知，并将相关信息对覆盖范围内的OBU进行广播，使汽车能即使掌握路端信息，扩展感知范围。
车联网管控平台普遍采用"中心云+边缘云"的网状结构，通过路端部署具备计算、存储、通信能力的MEC边缘云方式，将云计算平台部分中心云迁移到移动接入网边缘，就近对RSU和OBU采集的交通实时信息进行快速分析计算，对各类时延敏感的应用场景提供支撑。
车联网架构分成四层，包括中心云（承担管控平台角色，应对时延不敏感场景）；移动核心网（保证各层的5G通信）；路测端元RSU、5G基站、交通信号和监控设备等基础设施；车网人设施。
单车智能与车路协同
目前全球主要由两条技术路线，一是依靠激光雷达和高精度地图的谷歌派、二是以视觉感知和影子模式为代表的特斯拉派。
车路协同具体由两种实现方式：一、在路侧安装摄像头、毫米波雷达、激光雷达等感知设备，减少车端装配传感器，降低车载成本。二、在路侧安装边缘计算设备，结合云平台，通过边缘计算，降低汽车算力和功耗要求，降低车载成本。
高精度地图
高精度地图作用贯穿无人驾驶汽车定位、感知、决策三个环节，总结起来就是，我在哪里，我前方有什么、我该怎么走，三个基础又重要的问题。
高精度地图主要有两种制作方式：一集中制图或者专业测绘，目前百度、高德、谷歌、四维图新采用的制作地图方式。二众包制图，即通过合作的方式，靠大量汽车上的摄像头、激光雷达、车内芯片等设备实时采集道路数据并上传云端，通过大数据处理、深度学习等技术，完成高精度地图和合成和实时更新。
GNSS系统、车载IMU和传感器加上高精度地图这三大系统相互融合，基本能覆盖无人驾驶汽车所有定位场景。
集中式架构
传统汽车供应链中，不同ECU来自不同的供应商，有着不同的嵌入式软件和底层代码，兼容性和扩展性差，每增加新功能都需要增加一套ECU和通信系统，带来资源的浪费。所以汽车架构由分布式向集中式发展，其核心思想是让一个控制器同时兼具多种ECU功能，这种控制器称为域控制器（DCU）。
本质上DCU就是一片SOC级别的芯片。主要包含三大类，一用于环境感知和信息融合、需要适应深度学习算法超大算力需求，一般采用GPU或者TPU，承担大规模浮点数并行计算，包括摄像头、激光雷达等识别、融合、分类；二主要负责逻辑运算和决策控制，处理高精度浮点数串行计算，类似CPU；三主要负责功能安全、冗余监控、车辆控制，不要求高算力，但是必须保证高可靠性，一般采用MCU。
软件定义汽车
软件定义汽车时代,汽车生态发生多个方面的变化，并对汽车行业产生长远和深刻的影响，这一改变的根本原因就是汽车电子电气结构的软件地位的大幅提升。
一、商业模式：从单纯卖车改变成卖车和服务。
二、 产品定义：汽车不同的客户需求可以通过软件来实现和精确满足，汽车定义从关注性能（动力、设计、功耗）转变成以客户为中心的乘驾体验（自动驾驶、互动、联网）
三、 研发流程：汽车的研发从“以硬件集成开发为主，软硬件集成开发”，转变成”软件和硬件解耦，单独开发“流程；
四、人才结构：从传统“以硬件工程师为主”的人才解雇转变成“懂汽车软件”的人才结构
五、供给关系：从“主机厂/一级供应商/二级供应商的线性关系”到“主机厂/供应商的网状关系”的改变，软件供应商会深度参与到整车的开发的前期流程。
智能座舱的新风口
无人驾驶汽车关注的是车与环境及车与交通的关系，而智能座舱更多探讨的是人与车的关系，即人与车的深度交互和深度理解。智能座舱包括交互和服务两大内容：一、交互。实现拟人多模态交互，帮用户解决一些问题，缓解焦虑、管理用户健康。二、服务。基于场景驱动，提供社交娱乐、住宿、行程规划、停车补能、个性化精准营销等。核心是基于搜集到的动静态数据，形成用户画像，理解和判断出用户处于的场景，基于场景主动提供服务推荐。
车载操作系统
目前QNX（黑莓旗下的嵌入式系统，目前商用类的unix实时操作系统，但是非开源，兼容性差、开发难度大）、Linux（开源产品、但是生态不完善）和Android（生态完整但是安全性、稳定性差）是全球主要的三大车载底层操作系统。
OTA：远程无线升级技术，实现汽车操作系统升级。虽然技术成熟但是目前并没有普及，主要因为三大挑战，一、安全。需要从软件包制作、发布、下载、分发、刷写等环节从云、管（网络）、车端来保障整个系统的安全。二、鲁棒性。需要考虑外界干扰因素导致刷写异常中断，防止汽车变砖头。一般采用边备份边运行模式，如果升级过程发生错误，域控制器会自动回滚到上一版本（应该是快照技术）三、速度。主要由下载和刷写速度共同决定。
线控底盘技术
线控地盘主要由五大系统，分别为线控转向、线控制动、线控换挡、线控油门、线控悬挂系统。目前线控转向和线控制动还没有成熟技术方案。
四、无人驾驶的商业应用
无人驾驶对企业产生的变革
无人驾驶犹如一股不可阻挡的外力，倒逼汽车行业的传统玩家进行更深入，更彻底的变革。
对于技术能力储备的思考：从硬件到软件的转变。
对于核心竞争力的思考：从核心发动机技术到生态圈的共赢
对于产品和服务转变的思考：从传统汽车销售往出行服务的转变
无人驾驶的商业模式
商业模式若要为企业创造收入,必须要包含合作伙伴、主要业务、核心资源、价值主张、客户关系、渠道通路、客户细分、成本结构、收入来源。其中最重要的就是价值主张，无人驾驶行业模式要成立，必须要找到自己独特的核心价值，并让消费者在使用中感受到价值的传递，提高效用值和满意度。
无人驾驶具有强本地化属性，因为地图采集属于国家核心资源，车辆算法更需要于本地道路交通，驾驶习惯吻合；人工智能依赖大数据的积累与市场耕耘。
无人驾驶痛点。一、昂贵的研发费用和成本；二、未被消费者感知的服务价值和效用值。成本主要来自研发成本、车辆设备成本、运营成本。营收端主要受制于技术发展、配套设施、政策法规等因素。
无人驾驶盈利可以参考这个理念：消费者的支付意愿与感知到的价值或者效用直接挂钩。成本端，行业玩家可以采用合作共赢、搭建生态或者众包模式进一步压缩成本。随着无人驾驶大规模落地使用，会形成一定的规模效应，反作用与研发、采购、生产成本，降低平均单位成本。营收端，通过无人驾驶为消费者带来前所未有的差异化体验，比如针对个人出行消费者提供更舒适、更安全体验，针对商务人士提供更准时、更便捷或者车内办公体验，针对家庭消费者提供生活场景体验。
五、无人驾驶的挑战和未来
无人驾驶落地需要考虑驾驶安全问题、道德伦理问题、车险与定责问题，行业重塑产业链问题。实现无人驾驶不仅可以解放双手，提升效率，同时提供城市治理方面的新思路，合理避免交通拥堵和停车难题，提升出行效率。无人驾驶挑战包括：
无人驾驶人车安全；
无人驾驶隐私和数据安全；
无人驾驶事故定则（法律盲区，事故责任主体是无人驾驶系统开发商？传感器制造商？安全员？）
想要全面推广无人驾驶，明确的法律法规以及责任认定是前提，这需要立法机构、交通部门、主机厂商、汽车硬件供应商、汽车保险公司通力合作，实现无人驾驶安全落地。
无人驾驶重塑车险行业
数据和定责问题需要解决。数据可用性问题，保险公司需要明确获取数据方式和能否获取数据；数据完备性问题，数据不规范，数据共通性差是通用问题。责任归属方变化；应对B端客户保险产品。
无人驾驶伦理问题
人类无法解决的问题交给机器,机器也不能做出此类残酷的抉择，我们只能尽量避免此类情况的发生。目前厂商的解决方案:
通过机器大数据被动学习,学习人类的决策过程，但是如何教育机器人选择，变成另一个难题。
购买汽车的时候，把自己的伦理答案输入到机器的初始设置里面，目前看来可行度较高，但是会带来新问题，如果司机选择任何情况下优先自保，为了躲避1%导致死机死亡的紧急状况，选择冲向100%导致10名行人死亡的路线，司机是否应该为自己的选择承担额外的刑事责任？
无人驾驶商业模式的界定
未来无人驾驶的实现,存在三种链接方式:车和人、车和车、车和城市（智慧城市）。
参考书籍：
《一文读懂无人驾驶》 杨宽 陆盛赞 著
本文仅做学术分享，如有侵权，请联系删文。