第1章 緒論 001
1.1 汽車(chē)的智能化 001
1.1.1 智能汽車(chē)階段 001
1.1.2 智能網(wǎng)聯(lián)汽車(chē)階段 002
1.1.3 自動(dòng)駕駛汽車(chē)階段 003
1.2 BEV感知算法簡(jiǎn)介 004
1.2.1 什么是BEV？ 004
1.2.2 BEV感知算法的發(fā)展歷程 005
1.2.3 BEV感知算法的重要性 005
1.2.4 應(yīng)用與挑戰(zhàn) 005
1.3 自動(dòng)駕駛汽車(chē)BEV感知算法分類(lèi)及國(guó)內(nèi)外研究現(xiàn)狀 006
1.3.1 基于多相機(jī)的BEV感知算法及國(guó)內(nèi)外研究現(xiàn)狀 006
1.3.2 基于激光雷達(dá)的BEV感知算法及國(guó)內(nèi)外研究現(xiàn)狀 010
1.3.3 基于多傳感器融合的BEV感知算法及國(guó)內(nèi)外研究現(xiàn)狀 012
1.4 本書(shū)內(nèi)容概要 015

第2章 基于點(diǎn)云信息處理的激光雷達(dá)BEV感知算法 016
2.1 激光雷達(dá)點(diǎn)云基礎(chǔ) 016
2.1.1 激光雷達(dá)原理 017
2.1.2 點(diǎn)云的特性 019
2.2 基于激光雷達(dá)信息處理的3D目標(biāo)檢測(cè)算法 022
2.2.1 BEV視角生成 022
2.2.2 網(wǎng)絡(luò)的推理框架 024
2.2.3 點(diǎn)云數(shù)據(jù)后處理 026
2.2.4 實(shí)驗(yàn)結(jié)果與分析 027
2.2.5 結(jié)論 031
2.3 基于激光雷達(dá)的端到端BEV目標(biāo)檢測(cè)算法 031
2.3.1 BEV視角生成 032
2.3.2 網(wǎng)絡(luò)的推理框架 032
2.3.3 多任務(wù)訓(xùn)練 035
2.3.4 實(shí)驗(yàn)結(jié)果與分析 036
2.3.5 結(jié)論 039
本章小結(jié) 039

第3章 基于多尺度空間結(jié)構(gòu)理解的多相機(jī)BEV感知算法 041
3.1 超大目標(biāo)與小目標(biāo)檢測(cè) 041
3.2 網(wǎng)絡(luò)模型 043
3.3 空洞-加權(quán)雙向特征金字塔模塊 044
3.3.1 并行空洞卷積特征提取 044
3.3.2 雙向加權(quán)特征金字塔特征融合 045
3.4 多尺度目標(biāo)相對(duì)深度學(xué)習(xí) 046
3.4.1 尺度檢測(cè)與自適應(yīng)參考點(diǎn)選取 046
3.4.2 相對(duì)深度計(jì)算 048
3.5 檢測(cè)頭和損失函數(shù) 048
3.6 實(shí)驗(yàn)及其可視化 049
3.6.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置 049
3.6.2 整體檢測(cè)精度提升 050
3.6.3 類(lèi)別平均精度比較 051
3.6.4 消融實(shí)驗(yàn) 053
3.6.5 檢測(cè)結(jié)果可視化 055
本章小結(jié) 057

第4章 基于時(shí)空特征融合的多相機(jī)BEV感知算法 059
4.1 時(shí)空特征融合的重要性 059
4.2 網(wǎng)絡(luò)模型 061
4.2.1 總體框架 061
4.2.2 實(shí)例信息傳播 062
4.2.3 圖像編碼器 064
4.2.4 時(shí)空特征融合注意力模塊 065
4.2.5 高效時(shí)空可變形聚合模塊 067
4.2.6 BEV自注意力 068
4.3 實(shí)驗(yàn)與分析 069
4.3.1 數(shù)據(jù)集 069
4.3.2 評(píng)估指標(biāo) 070
4.3.3 實(shí)驗(yàn)細(xì)節(jié) 070
4.3.4 對(duì)比實(shí)驗(yàn) 070
4.3.5 定性分析 073
4.3.6 消融實(shí)驗(yàn) 076
本章小結(jié) 079

第5章 基于位置與語(yǔ)義信息加權(quán)的極坐標(biāo)多相機(jī)BEV感知算法 081
5.1 使用極坐標(biāo)進(jìn)行感知的必要性 082
5.2 網(wǎng)絡(luò)模型 083
5.2.1 總體框架 083
5.2.2 跨平面特征編碼與對(duì)齊 086
5.2.3 多層級(jí)BEV特征編碼與解碼 088
5.3 算法測(cè)試與結(jié)果分析 090
5.3.1 數(shù)據(jù)集與環(huán)境配置 090
5.3.2 在nuScenes數(shù)據(jù)集上的測(cè)試結(jié)果分析 091
5.3.3 實(shí)驗(yàn)定性分析 092
5.4 消融實(shí)驗(yàn) 093
5.4.1 極坐標(biāo)系與笛卡兒坐標(biāo)系對(duì)比 093
5.4.2 采用信息加權(quán)方法與融入時(shí)間信息的有效性 095
5.4.3 選擇最優(yōu)參數(shù)的正交實(shí)驗(yàn) 096
本章小結(jié) 098

第6章 基于極坐標(biāo)的多傳感器融合BEV感知算法 100
6.1 極坐標(biāo)系下的多模態(tài)融合技術(shù)問(wèn)題概述 101
6.2 基于極坐標(biāo)的多模態(tài)融合BEV目標(biāo)檢測(cè)算法 102
6.2.1 總體架構(gòu) 103
6.2.2 極坐標(biāo)候選區(qū)域生成模塊 104
6.2.3 極坐標(biāo)區(qū)域內(nèi)查詢生成模塊 106
6.2.4 極坐標(biāo)區(qū)域內(nèi)信息融合模塊 109
6.2.5 目標(biāo)檢測(cè)與損失函數(shù) 110
6.3 算法測(cè)試與結(jié)果分析 111
6.3.1 數(shù)據(jù)集與環(huán)境配置 111
6.3.2 在nuScenes數(shù)據(jù)集上的測(cè)試與結(jié)果分析 112
6.3.3 消融實(shí)驗(yàn) 114
6.3.4 實(shí)驗(yàn)定性分析 118
本章小結(jié) 120

第7章 基于相機(jī)-激光雷達(dá)融合的BEV感知算法 122
7.1 BEV視角下多模態(tài)融合的3D目標(biāo)檢測(cè)方法 123
7.1.1 激光雷達(dá)初始特征提取和BEV特征的構(gòu)建 124
7.1.2 相機(jī)的初始特征提取和BEV特征的構(gòu)建 124
7.1.3 激光雷達(dá)-相機(jī)BEV特征融合的多模態(tài)交叉
注意力機(jī)制的構(gòu)建 125
7.1.4 BEV自注意力機(jī)制 126
7.1.5 預(yù)測(cè)頭 127
7.1.6 損失函數(shù) 127
7.2 實(shí)驗(yàn)與分析 129
7.2.1 數(shù)據(jù)集 129
7.2.2 評(píng)估指標(biāo) 129
7.2.3 實(shí)驗(yàn)細(xì)節(jié) 129
7.2.4 對(duì)比實(shí)驗(yàn) 130
7.3 消融實(shí)驗(yàn)分析 132
7.3.1 定量分析 133
7.3.2 定性分析 133
本章小結(jié) 137

第8章 基于注意力機(jī)制的相機(jī)和激光雷達(dá)融合BEV感知算法 138
8.1 網(wǎng)絡(luò)模型 138
8.1.1 總體框架 138
8.1.2 圖像特征提取和BEV特征的構(gòu)建 139
8.1.3 激光雷達(dá)特征到BEV特征的轉(zhuǎn)化 141
8.1.4 BEV特征融合模塊 141
8.1.5 3D目標(biāo)檢測(cè)頭 143
8.2 損失函數(shù) 143
8.3 實(shí)驗(yàn)設(shè)置及評(píng)估 143
8.3.1 數(shù)據(jù)集 144
8.3.2 評(píng)價(jià)指標(biāo) 144
8.3.3 實(shí)驗(yàn)細(xì)節(jié) 144
8.3.4 檢測(cè)結(jié)果及對(duì)比 145
8.3.5 消融實(shí)驗(yàn) 146
本章小結(jié) 150

第9章 總結(jié)與展望 151
9.1 本書(shū)總結(jié) 151
9.2 未來(lái)展望 152

參考文獻(xiàn) 154