# 绪论

  • 1986 年：卡梅隆大学 NavLab 1，神经网络，五台 PC，20km/h
  • 1995 年：卡梅隆大学 NavLab 5，加装前视摄像头、GPS
  • 2009 年：Google 研发自动驾驶汽车
  • 2013 年：百度深度学习研究院启动自动驾驶项目

Robotaxi 成本不敏感，硬件可以在汽车量产后加装，计算平台可以使用 x86。

量产自动驾驶对成本敏感，硬件需要在整车设计阶段考虑，计算平台一般使用嵌入式平台。但量产自动驾驶在研发过程中也会使用基于量产车改装后的原型车进行测试，只要自动驾驶系统和量产车解耦，就可以迁移到量产车。

# 产品篇

# 传感器定义与作用

由 DeepSeek 生成。

在自动驾驶感知硬件中，L（Lidar）、V（Vision/Camera）、R（Radar，又叫毫米波雷达）、USS（Ultrasonic Sensor） 是四种核心传感器，各自具有不同的特性和应用场景。以下是它们的详细对比及在自动驾驶功能中的配置建议：

# 1. 传感器定义与作用

传感器 全称 工作原理 主要作用
Lidar Light Detection and Ranging 发射激光脉冲并接收反射信号，生成3D点云 高精度环境建模（距离、形状、深度）
Vision 摄像头 光学成像，2D/3D视觉数据 物体识别（车道线、交通标志、行人等）
Radar Radio Detection and Ranging 发射无线电波，测量反射信号 测距、测速（尤其擅长运动物体）
USS Ultrasonic Sonar Sensor 发射超声波，测量回波时间 近距离障碍物检测（<5米）

# 2. 优缺点对比

传感器 优点 缺点
Lidar 高精度3D建模、不受光照影响 成本高、雨雪天气性能下降
Vision 丰富语义信息（颜色、纹理）、成本低 依赖光照、计算复杂度高
Radar 全天候工作、测速精准、长距离（200m+） 分辨率低、无法识别物体细节
USS 低成本、近距离检测可靠 短距离（<5m）、易受噪声干扰

# 3. 不同自动驾驶功能的传感器配置

# (1) 自动泊车（APA/AVP）
  • 核心需求：厘米级近距离检测（车位、障碍物）。
  • 典型配置：
    • USS ×12（前后左右全覆盖）
    • 后视摄像头 ×1（视觉辅助）
    • 可选：低线束Lidar（如4线）用于复杂场景。
# (2) ACC（自适应巡航）
  • 核心需求：中距离跟车、前车速度匹配。
  • 典型配置：
    • 前向雷达 ×1（主传感器，检测距离150m+）
    • 前视摄像头 ×1（目标识别冗余）
    • 无需Lidar（传统方案依赖雷达+摄像头融合）。
# (3) NOA（导航辅助驾驶，如特斯拉NOA、小鹏NGP）
  • 核心需求：高速/城市道路的路径规划、避障。
  • 典型配置：
    • 高线束Lidar ×1（如32线或64线，L4预埋车型）
    • 摄像头 ×8（360°覆盖，包括鱼眼镜头）
    • 毫米波雷达 ×3-5（前向+侧向）
    • 备注：纯视觉方案（如特斯拉）仅依赖摄像头+AI算法。
# (4) L4级自动驾驶（Robotaxi）
  • 核心需求：全场景、冗余感知。
  • 典型配置：
    • Lidar ×2-4（360°覆盖，如Waymo用5台Lidar）
    • 摄像头 ×10+（多光谱、广角、长焦）
    • 毫米波雷达 ×6-8（前向+角雷达）
    • USS ×12（近距离补盲）
    • 冗余设计：多传感器交叉验证，确保安全。

# 4. 趋势与成本考量

  • Lidar：L4必备，但成本下降（如禾赛AT128降至$500级别）。
  • 纯视觉方案：依赖强大算法（如特斯拉FSD），但极端场景受限。
  • Radar+USS：成熟低成本方案，适用于L2-L3。

# 总结

  • 泊车：USS为主，视觉辅助。
  • ACC：1雷达+1摄像头。
  • NOA：1-2 Lidar + 多摄像头 + 雷达（或纯视觉）。
  • L4：多Lidar + 多摄像头 + 雷达 + USS，全冗余配置。

实际配置因厂商技术路线（如特斯拉拒绝Lidar）和成本控制而异，但传感器融合（Fusion）是高级自动驾驶的核心方向。

# Lidar 和 Radar 的核心区别

Lidar（激光雷达）和 Radar（毫米波雷达）都是主动测距传感器，但工作原理、性能和应用场景有显著差异：

对比维度 Lidar（激光雷达） Radar（毫米波雷达）
工作原理 发射激光束（波长~905nm或1550nm），测量反射时间 发射无线电波（频率77GHz为主），测量反射波
测距精度 厘米级（高精度） 米级（相对较低）
测速能力 间接测速（通过多帧点云差分计算） 直接测速（多普勒效应，实时精准）
分辨率 高（可识别物体轮廓、细节） 低（只能检测到“点”或“块”）
环境建模能力 强（生成3D点云，适合SLAM、高精地图） 弱（仅提供距离和速度信息）
有效距离 通常50-200m（高端Lidar可达300m+） 长距离雷达（LRR）可达200-300m
天气适应性 雨雪雾霾性能下降（激光易散射） 全天候工作（穿透性强）
成本 高（尤其是高线束Lidar） 低（成熟产业链）

# 关键问题解析

# 1. Radar 频率更高，所以更擅长测速？
  • 是的，Radar 利用 多普勒效应 直接测量速度：
    • 雷达发射的电磁波（如77GHz）遇到运动物体时，反射波频率会偏移，通过计算频率差可 直接 得到物体的径向速度，精度可达0.1m/s。
    • Lidar 需要通过多帧点云数据的位移差分 间接 计算速度，实时性和精度不如雷达。
  • 频率与测速的关系：
    高频雷达（如77GHz）波长更短（~4mm），对微小运动更敏感，因此测速能力优于低频雷达（如24GHz）。
# 2. Lidar 距离远，所以适合环境建模？
  • 部分正确，但核心优势在于 分辨率 而非单纯距离：
    • Lidar 通过激光束扫描生成 高密度3D点云，能精确还原物体形状（如车道线、车辆轮廓），适合构建环境模型（如高精地图、SLAM）。
    • Radar 的无线电波波长较长（毫米级），分辨率低，只能检测到模糊的“点”或“面”，无法用于精细建模。
  • 距离对比：
    • 高端Lidar（如Luminar Iris）探测距离可达250m+，但实际有效距离受天气影响大。
    • 长距离雷达（LRR）同样可达200-300m，且不受天气影响，但缺乏细节信息。

# 典型应用场景

  1. Radar 的核心优势

    • ACC自适应巡航：依赖雷达精准测速，实现跟车。
    • AEB自动紧急制动：雷达在雾霾/黑夜中仍能检测前方障碍物。
    • 盲点监测（BSD）：角雷达检测侧后方来车。

  2. Lidar 的核心优势

    • L4自动驾驶：360°点云建模，识别无标线道路、异形障碍物。
    • 高精地图采集：厘米级精度还原道路结构。
    • Robotaxi：冗余感知中不可或缺的传感器。

# 技术趋势

  • 4D成像雷达：通过增加俯仰角分辨率和点云密度，部分替代Lidar功能（如Waymo部分车型已尝试）。
  • Lidar固态化：降低成本和体积（如VCSEL激光器+SPAD接收器方案）。
  • 传感器融合：Radar弥补Lidar的测速和天气短板，Lidar弥补Radar的分辨率缺陷（如特斯拉HW4.0虽未用Lidar，但增加了高分辨率雷达）。

# 总结

  • 测速选Radar：多普勒效应直接测速，实时性碾压Lidar。
  • 建模选Lidar：高分辨率点云是环境感知的黄金标准。
  • 实际系统：两者互补（如L4方案通常同时部署Lidar+Radar+摄像头）。

# Lidar 和 Radar 的“分辨率”详解

分辨率是传感器区分两个相邻目标的能力，对自动驾驶的感知至关重要。Lidar和Radar的分辨率差异可以用 “素描画” vs “模糊照片” 来形象理解：

# 1. Lidar 的分辨率：高精度“素描画”

  • 定义：
    Lidar的分辨率取决于激光束的 角分辨率（如0.1°×0.1°）和 点云密度。高分辨率Lidar可以区分相距仅几厘米的物体。

  • 比喻：
    像用铅笔在纸上画素描，能清晰勾勒出物体的边缘和细节（如车轮、车牌、行人手臂的摆动）。

    • 示例：64线Lidar扫描一辆车，能清晰看到车门把手、后视镜等细节（点云密集）。
    • 数据表现：单帧点云可达数万至百万个点，形成高精度3D模型。

  • 影响因素：

    • 线数：16线Lidar像“简笔画”，64线像“精细素描”。
    • 波长：激光波长（纳米级）远小于雷达（毫米级），因此能捕捉微小特征。

# 2. Radar 的分辨率：低精度“模糊照片”

  • 定义：
    Radar的分辨率由天线阵列和波长决定（77GHz雷达的典型分辨率约1°×1°），只能区分相距较远的物体。

  • 比喻：
    像用沾水的毛笔在宣纸上涂抹，只能看到模糊的色块（例如“前方有一团东西在移动”，但分不清是车还是卡车）。

    • 示例：雷达可能将并排行驶的两辆车识别为一个“大目标”，而Lidar能明确区分两车。
    • 数据表现：输出为稀疏点簇，无法还原物体形状。

  • 影响因素：

    • 波长：无线电波波长（毫米级）远大于激光，导致衍射严重，细节丢失。
    • 天线数量：4D成像雷达通过增加天线提升分辨率，但仍不及Lidar。

# 3. 分辨率对自动驾驶的影响

场景 Lidar（高分辨率） Radar（低分辨率）
识别静止小物体 能检测路面的砖块、轮胎碎片 可能过滤为噪声（无法区分物体与地面）
车道线/道路边缘 可重建车道线曲线（厘米级精度） 完全无法识别
多目标区分 能分离密集车流中的相邻车辆 可能将多车合并为一个目标
行人姿态判断 识别举手、弯腰等动作 仅能检测到“有一个移动的点”

# 4. 技术对比的生动案例

  • 案例1：检测铁丝网

    • Lidar：能看到铁丝网的网格结构（高分辨率）。
    • Radar：可能完全穿透或显示为“一片噪声”（波长太长，无法反射）。

  • 案例2：隧道内车辆排队

    • Lidar：能清晰数出每辆车的位置和间距。
    • Radar：可能输出“一长条障碍物”（无法分辨车间隙）。

# 5. 如何提升分辨率？

  • Lidar：

    • 增加激光线数（如从16线→128线）。
    • 提高扫描频率（如从10Hz→20Hz）。

  • Radar：

    • 使用 4D成像雷达（通过MIMO天线增加虚拟通道）。
    • 提升算法（如AI去模糊，但受物理限制难以媲美Lidar）。

# 总结

  • Lidar分辨率：像“高清扫描仪”，适合需要厘米级精度的场景（如避让路桩、识别施工锥桶）。
  • Radar分辨率：像“高度近视眼”，依赖运动目标和速度信息（如高速跟车）。
  • 互补性：Radar的强项是测速和全天候，Lidar的强项是建模和细节，两者结合才能实现鲁棒的自动驾驶。

# Lidar 和 Radar 的数据融合详解

在自动驾驶系统中，Lidar 和 Radar 的数据融合（Sensor Fusion）是感知层的关键环节，目的是为 Planning（路径规划） 和 Control（控制执行） 提供更可靠的环境信息。以下是它们的结合方式及融合操作的详细解析：

# 1. 数据融合的核心目标

  • 互补优势：
    • Lidar 提供高分辨率3D环境模型（形状、距离、静态物体）。
    • Radar 提供精准速度信息和全天候探测能力（动态物体、恶劣天气）。
  • 冗余校验：通过多传感器交叉验证，降低误检（False Positive）和漏检（False Negative）风险。

# 2. 融合层级与方法

# (1) 前融合（Early Fusion）
  • 原理：在原始数据层面融合（如点云与雷达信号直接叠加）。
  • 优点：保留最多信息，适合深度学习模型（如BEVNet）。
  • 缺点：计算量大，需时间同步和坐标对齐。
  • 示例：
    • Lidar点云 + Radar点云 → 统一的空间栅格（Occupancy Grid）。
# (2) 后融合（Late Fusion）
  • 原理：各传感器独立处理，再合并结果（如目标级融合）。
  • 优点：模块化设计，容错性强。
  • 缺点：信息损失较多。
  • 示例：
    • Lidar检测到“车辆轮廓” + Radar检测到“前方80m有物体以60km/h移动” → 融合为“一辆以60km/h行驶的汽车”。
# (3) 深度学习融合
  • 原理：用神经网络（如Transformer）直接学习多模态数据关联。
  • 典型模型：
    • BEVFusion（Lidar+Camera+Radar的鸟瞰图融合）。
    • Radar-Lidar Cross-Attention（雷达辅助补全Lidar缺失帧）。

# 3. 融合后如何服务Planning & Control？

# (1) 动态物体追踪（Tracking）
  • 任务：预测周围车辆/行人的轨迹。
  • 融合贡献：
    • Lidar提供位置和形状，Radar提供实时速度 → 卡尔曼滤波（Kalman Filter）预测未来位置。
# (2) 可行驶区域划分（Free Space）
  • 任务：规划安全路径。
  • 融合贡献：
    • Lidar点云生成高精度占据栅格图，Radar过滤动态障碍物 → 区分静态可行驶区域和移动障碍物。
# (3) 控制指令生成（Control）
  • 任务：计算油门、刹车、转向。
  • 融合贡献：
    • 前方车辆距离（Lidar） + 相对速度（Radar） → ACC控制器计算跟车距离。

# 4. 典型融合案例

# 场景：高速跟车（ACC+车道保持）
  1. Radar 检测到前车距离100m，速度80km/h。
  2. Lidar 确认前车为SUV，并检测到车道线。
  3. 融合算法 校验数据一致性，排除Radar的误检（如桥梁金属反射）。
  4. Planning 基于融合结果，决策“保持车速，距离前车50m”。
  5. Control 输出刹车/油门指令，同时微调方向盘保持车道居中。
# 极端场景：大雾天气
  • Lidar点云因雾气散射失效 → 依赖Radar持续提供目标速度和位置 → Planning降级为保守策略（如限速行驶）。

# 5. 技术挑战

  • 时间同步：Lidar（10Hz）和Radar（20Hz）数据需严格对齐。
  • 坐标统一：将各传感器数据转换到车辆坐标系（需标定外参）。
  • 冲突处理：当Lidar和Radar结果不一致时（如Radar检测到幽灵障碍物），需置信度加权或AI仲裁。

# 6. 行业实践

  • Waymo：Lidar为主，Radar用于测速和冗余，融合后生成4D动态地图。
  • Tesla（纯视觉+Radar时代）：用Radar补偿摄像头在测速和夜间能力的不足。
  • 4D成像雷达：新一代雷达（如Arbe）尝试通过提升分辨率部分替代Lidar功能。

# 总结

  • 融合操作 本质是整合多传感器数据，为下游模块提供更完整的感知结果。
  • Planning & Control 依赖融合后的统一环境模型，而非原始传感器数据。
  • 未来趋势：
    • 更紧密的端到端融合（如UniAD）。
    • 低成本的4D雷达+低线束Lidar组合。

# 算法篇

# 真值获取

这里主要是为了尽可能地获取高质量的真值标签，同时降低获取真值的成本。

  1. 云端大模型真值获取：车端只能使用小模型，如果学术界已经有现成的大模型可以良好地输出真值，可以使用云端大模型来生成真值标签，辅以人工标注，再喂给车端小模型进行训练。这种学习的本质是知识蒸馏。
  2. 激光雷达真值获取：激光点云具有很高的三维精度，可以作为摄像头等其他传感器的真值标签来源。缺点：极近区域是盲区、极远区域点稀疏、视角问题（所以推荐把不同传感器安装得尽量靠近）。时间同步要到毫秒级别。
  3. 高精地图真值获取：高精地图可以作为车道线、交通标志等的真值标签来源。缺点：高精地图的制作和维护成本较高。