目錄 序一 序二 前言 第1章 機器人自主智能導航概述 1 1.1 技術的發(fā)展和趨勢 2 1.2 邁向智能導航 9 1.3 本書內容簡介 13 參考文獻 14 第2章 機器人自主導航框架 17 2.1 機器人操作系統(tǒng)簡介 17 2.1.1 概述 17 2.1.2 ROS的基礎概念與設計思想 18 2.2 自主導航框架 24 2.2.1 建圖與地圖發(fā)布模塊 26 2.2.2 狀態(tài)估計模塊 29 2.2.3 全局路線規(guī)劃模塊 31 2.2.4 局部規(guī)劃模塊 31 2.2.5 抽象控制模塊 32 2.3 用于機器人導航的硬件 34 2.3.1 主動傳感器 34 2.3.2 被動傳感器 39 2.3.3 電機 41 2.3.4 常見的機器人底盤及運動模型 42 2.3.5 融合北斗和AI的實驗教學系統(tǒng) 51 2.4 工程實踐：差速輪機器人的遠程操控 52 2.4.1 環(huán)境配置與安裝 53 2.4.2 代碼解析 54 2.4.3 實驗 55 2.5 工程實踐：ROS：：Movebase 58 2.5.1 環(huán)境配置與安裝 58 2.5.2 實驗框圖 61 2.5.3 仿真實驗 63 參考文獻 65 第3章 機器人環(huán)境語義感知 67 3.1 目標檢測 67 3.1.1 概述 67 3.1.2 常用數(shù)據集及評估指標 69 3.1.3 二階段目標檢測模型 71 3.1.4 一階段目標檢測模型 74 3.2 圖像分割 79 3.2.1 概述 79 3.2.2 常用數(shù)據集及評估指標 81 3.2.3 語義分割 83 3.2.4 實例分割 90 3.2.5 全景分割 93 3.2.6 融合深度信息的分割 95 3.3 目標跟蹤 98 3.3.1 概述 98 3.3.2 常用數(shù)據集與評估指標 101 3.3.3 單目標跟蹤 104 3.3.4 多目標跟蹤 111 3.4 視覺注意力 113 3.4.1 概述 113 3.4.2 基于Transformer的目標檢測 120 3.4.3 基于Transformer的圖像分割 123 3.4.4 基于Transformer的目標跟蹤 125 3.5 基于深度學習的3D點云語義感知 127 3.5.1 概述 127 3.5.2 常用數(shù)據集與評估指標 130 3.5.3 3D點云目標檢測 130 3.5.4 3D點云分割 134 3.5.5 3D點云目標跟蹤 137 3.6 圖像和點云的融合語義感知 138 3.6.1 概述 138 3.6.2 前期融合 139 3.6.3 后期融合 139 3.7 典型交通對象的語義感知 140 3.8 工程實踐：YOLO v4 142 3.8.1 環(huán)境配置與安裝 142 3.8.2 代碼解析 145 3.8.3 實驗 146 3.9 工程實踐：DeepLab v3 + 149 3.9.1 環(huán)境配置與安裝 149 3.9.2 代碼解析 151 3.9.3 實驗 153 3.10 工程實踐：SiamRPN 161 3.10.1 環(huán)境配置 162 3.10.2 代碼解析 163 3.10.3 實驗 164 參考文獻 168 第4章 機器人狀態(tài)估計 175 4.1 GNSS高精度定位定姿技術 175 4.1.1 全球衛(wèi)星導航系統(tǒng) 175 4.1.2 GNSS快速定位 184 4.1.3 GNSS高精度定位方法 185 4.1.4 GNSS測向定姿 189 4.2 基于IMU的主動姿態(tài)估計 191 4.2.1 捷聯(lián)慣性導航涉及的坐標系 191 4.2.2 捷聯(lián)慣性導航中IMU傳感器誤差建模 193 4.2.3 捷聯(lián)慣性導航姿態(tài)表示方法 195 4.2.4 捷聯(lián)慣導算法中的微分方程及其解算更新 197 4.2.5 捷聯(lián)慣導的誤差微分方程 201 4.3 基于激光雷達的定位 204 4.4 基于視覺的定位 204 4.5 基于機會信號的定位 204 4.6 GNSS/SINS組合導航定位 206 4.6.1 卡爾曼濾波用于數(shù)據融合 208 4.6.2 GNSS/SINS松組合 210 4.6.3 RTK/SINS緊組合 213 4.7 因子圖用于數(shù)據融合 214 4.8 深度神經網絡用于數(shù)據融合 219 4.8.1 非端到端學習下的慣導定位方法 219 4.8.2 端到端學習下的慣導定位方法 223 4.8.3 監(jiān)督學習下的視覺定位方法 227 4.8.4 無監(jiān)督學習下的視覺定位方法 230 4.8.5 慣性傳感器與視覺傳感器的數(shù)據融合 234 4.9 工程實踐：利用網絡RTK技術定位機器人 237 4.9.1 實驗準備 237 4.9.2 GNSS數(shù)據格式 238 4.9.3 實驗 239 4.10 工程實踐：GNSS/INS松組合導航定位 242 4.10.1 數(shù)據集介紹 242 4.10.2 代碼解析 243 4.10.3 實驗 244 4.11 工程實踐：RoNIN 247 4.11.1 環(huán)境配置 247 4.11.2 代碼解析 248 4.11.3 實驗 250 參考文獻 252 第5章 機器人同步定位與建圖 255 5.1 激光SLAM方法 255 5.1.1 概述 255 5.1.2 基于優(yōu)化的激光SLAM 258 5.1.3 基于濾波的激光SLAM 266 5.2 視覺SLAM方法 268 5.2.1 概述 268 5.2.2 光流估計 275 5.2.3 間接法視覺SLAM與經典方案 280 5.2.4 直接法視覺SLAM與經典方案 289 5.3 視覺慣性SLAM方法 293 5.3.1 概述 293 5.3.2 基于濾波的視覺慣性SLAM方法 294 5.3.3 基于優(yōu)化的視覺慣性SLAM方法 302 5.4 激光慣性SLAM方法 307 5.4.1 概述 307 5.4.2 基于濾波的激光慣性SLAM 308 5.4.3 基于優(yōu)化的激光慣性SLAM 313 5.5 事件相機SLAM方法 315 5.6 工程實踐：Cartographer 319 5.6.1 環(huán)境配置 319 5.6.2 代碼解析 323 5.6.3 Turtlebot3仿真實驗 324 5.7 工程實踐：ORB-SLAM2 326 5.7.1 環(huán)境配置 327 5.7.2 代碼解析 329 5.7.3 實驗 331 5.8 工程實踐：ORB-SLAM3 333 5.8.1 環(huán)境配置 333 5.8.2 代碼解析 336 5.8.3 實驗 337 參考文獻 339 第6章 機器人視覺語義融合 344 6.1 語義輔助前端特征篩選 344 6.1.1 概述 344 6.1.2 語義分割輔助特征篩選 345 6.1.3 實例分割輔助特征篩選 347 6.2 語義輔助后端定位優(yōu)化 350 6.2.1 概述 350 6.2.2 像素級語義輔助后端 350 6.2.3 物體級語義輔助后端 353 6.3 語義輔助回環(huán)檢測 356 6.3.1 概述 356 6.3.2 基于特征的回環(huán)檢測 357 6.3.3 基于場景的回環(huán)檢測 359 6.4 語義融合環(huán)境建模 361 6.4.1 概述 361 6.4.2 像素級語義建模 364 6.4.3 物體級語義建模 368 6.5 工程實踐：DS-SLAM 369 6.5.1 環(huán)境配置 370 6.5.2 代碼解析 372 6.5.3 實驗 373 參考文獻 374 第7章 機器人導航規(guī)劃與決策 378 7.1 全局路線的規(guī)劃 378 7.1.1 基于圖搜索的路線規(guī)劃 378 7.1.2 基于采樣的路線規(guī)劃 383 7.1.3 面向任務的路線規(guī)劃 384 7.2 動態(tài)目標的距離探測和運動預測 386 7.2.1 傳感器測距 386 7.2.2 基于動態(tài)SLAM的多目標運動預測 388 7.3 基于幾何模型的避障 393 7.3.1 概述 393 7.3.2 速度障礙模型 394 7.3.3 快速幾何避障模型 396 7.4 基于勢場模型的避障 399 7.4.1 概述 399 7.4.2 人工勢場模型 400 7.4.3 旋轉矢量場模型 401 7.4.4 混合勢場法模型 403 7.5 基于優(yōu)化思想的避障 405 7.5.1 概述 405 7.5.2 動態(tài)窗口算法 405 7.5.3 時變松緊帶算法 410 7.6 基于深度學習的局部規(guī)劃 414 7.6.1 端對端局部規(guī)劃 414 7.6.2 融合仿生LGMD的局部規(guī)劃 418 7.7 更高級的行動決策 421 7.8 工程實踐：TEB_Local_planner 424 7.8.1 環(huán)境配置與安裝 424 7.8.2 文件介紹 425 7.8.3 仿真實驗 426 參考文獻 433 第8章 基于強化學習的認知導航 436 8.1 認知導航的任務描述與建模 436 8.1.1 基本定義與馬爾可夫決策過程建模 436 8.1.2 強化學習A2C/A3C算法 442 8.1.3 常見的任務形式 445 8.2 目標驅動導航 446 8.2.1 孿生網絡模型 447 8.2.2 自適應視覺導航模型 449 8.3 視覺語言導航 452 8.3.1 增強型跨模態(tài)匹配和自監(jiān)督模仿學習的視覺語言導航模型 452 8.3.2 對象-動作感知模型 458 8.4 視覺對話導航 461 8.5 導航知識圖譜的構建與應用 466 8.5.1 知識圖譜概述 466 8.5.2 認知導航中知識圖譜的構建 467 8.5.3 認知導航中知識圖譜的應用 470 8.6 拓展到仿生導航 476 8.6.1 仿生導航傳感器 476 8.6.2 使用類網格細胞網絡模擬生物的矢量導航 477 8.7 工程實踐：SAVN 481 8.7.1 數(shù)據集 481 8.7.2 環(huán)境配置與安裝 481 8.7.3 代碼解析 484 8.7.4 實驗 485 參考文獻 486 第9章 多足機器人導航 489 9.1 多足機器人的發(fā)展及應用 489 9.2 多足機器人上的足式里程計 490 9.2.1 多足機器人的D-H建模方法 491 9.2.2 多足機器人的正向運動學模型 492 9.2.3 多足機器人的足式里程計的構建 493 9.3 多足機器人上的不變卡爾曼濾波器 495 9.3.1 不變卡爾曼濾波器簡介 495 9.3.2 組合導航中的不變卡爾曼濾波器 498 9.3.3 足式里程計/INS組合導航 501 9.4 多足機器人上的最優(yōu)平滑算法 503 9.4.1 雙向濾波算法 503 9.4.2 RTS平滑 505 9.4.3 分段平滑 506 9.5 多足機器人導航的發(fā)展趨勢 507 參考文獻 509 附錄 部分常用數(shù)據集 511 參考文獻 515