多模態傳感器校準對于實現機器人、自動駕駛汽車、地圖構建和其他感知驅動應用的傳感器融合至關重要。傳統的校準方法依賴于帶有棋盤格或目標的結構化環境，復雜、昂貴、耗時且無法擴展。
Main Street Autonomy Calibration Anywhere 軟件是一種可簡化校準問題的自動傳感器校準解決方案。Main Street Autonomy 是一家采用先進技術為機器人和自動駕駛汽車領域提供傳感器校準、本地化和地圖解決方案的自動駕駛軟件和服務公司。
在本博文中，您將學習如何使用 Calibration Anywhere 解決方案生成可集成到 NVIDIA Isaac Perceptor 工作流程中的校準文件。Isaac Perceptor 基于 NVIDIA Isaac ROS 構建，是 NVIDIA 加速庫和 AI 模型的參考工作流程，可幫助您快速構建強大的自主移動機器人 (AMR)。本教程面向負責傳感器校準的工程師以及感知系統相關人員，例如感知工程師。
傳感器校準概述?
校準可確保不同模式的感知傳感器生成一致的傳感器數據，這些數據在感知環境時彼此一致。感知傳感器包括激光雷達、雷達、攝像頭、深度攝像頭、IMU、車輪編碼器和 GPS/GNSS，并且能夠捕獲范圍、反射率、圖像、深度和運動數據等各種信息。
例如，當自動叉車靠近托盤時，3D 激光雷達會識別托盤和貨物的形狀、大小和距離，而運行機器學習（ML）工作流程的立體攝像頭會識別貨叉孔。通過適當的校正，攝像頭確定的貨叉孔位置將與激光雷達確定的托盤和貨物輪廓正確對齊。如果沒有適當的校正，傳感器數據可能會不對齊，導致不準確的解釋，例如物體檢測不正確、深度估計錯誤或導航錯誤。
傳統的傳感器校正是確定 傳感器內部參數 和 傳感器外部參數 的手動過程。傳感器內部參數包括對單個傳感器的傳感器數據進行校正，例如攝像頭的鏡頭失真和焦距。傳感器外部參數包括共享坐標系統中彼此相對的位置和方向，這通常是與運動幀相關的參考點，用于運動規劃和控制。
將兩個攝像頭校準在一起的過程相對簡單，需要一個名為棋盤格的印刷目標，工程師可能需要一個小時才能完成。校準更多攝像頭，或攝像頭與激光雷達、攝像頭與 IMU，或激光雷達與 IMU，都會逐漸變得更加困難，并且需要額外的目標和工程工作。
Main Street Autonomy 的 Calibration Anywhere 軟件是一種自動傳感器校準解決方案，可在任何非結構化環境中與任意數量、組合和布局的感知傳感器一起使用。無需棋盤格或目標，校準幾乎可以在任何地方執行，無需設置或環境更改。校準過程可能需要不到 10 分鐘的時間才能完成，無需工程師或技術人員。該解決方案一次即可為所有感知傳感器生成傳感器內部函數、外部函數和時間偏移。
教程預備知識?
如需縮短首次校準的周轉時間，下面列出了理想的配置。
環境包括：
- 附近有紋理的靜態結構。沒有什么特別的要求。例如辦公室環境、裝卸碼頭或停車場。校準指向海洋的攝像頭很復雜。
- 足夠的光照進行觀察。
- 濕度足夠低（霧、雨、雪盡皆宜），以便觀察。
- 第三方搬運工，例如人員、移動車輛或其他移動機器人，它們不靠近傳感器或代表大多數觀察結果。
傳感器系統包括：
- One of the following:
- 3D 激光雷達
- 2D 激光雷達
- 具有已知基準的立體攝像頭
- IMU
- Sensor system layout:
- 如果存在 3D 激光雷達，攝像頭視野（FOV）應與激光雷達的 FOV 至少重疊 50%。深度攝像頭應能夠看到 3D 激光雷達可以看到的世界部分。不需要重疊，但在機器人四處移動后，深度攝像頭應能看到激光雷達看到的物體。
- 在校準期間，所有傳感器都是剛性連接的。
- 傳感器數據存儲在 ROS1 或 ROS2 包中，包含標準主題和消息，在所有攝像頭和深度圖像、單個激光雷達和雷達點、IMU 和 GPS 測量以及車輪編碼器刻度或速度上都帶有準確的時間戳。
- Sensor data captured while:
- 傳感器通過遠程操作手動移動，或以不會導致車輪過度滑移或運動模糊的方式自動移動。
- 傳感器以兩個 8 字形圖移動，其中單個圓圈不重疊，圓圈的直徑大于 1 米。
- 傳感器在 1 米范圍內接近紋理靜態結構，其中的結構占據了每個攝像頭的視野的大部分。
- 記錄長度相對較短。數據采集目標為 60 秒，記錄時間不超過 5 分鐘。
不符合這些要求的傳感器系統仍然可以進行校準，但會有更長的周轉時間。非 ROS 格式的傳感器數據需要轉換，并將有更長的周轉時間。對于大型機器人或運動受限的機器人，可以選擇其他移動程序。 如需了解更多信息，請聯系 MSA。
評估程序?
評估 Calibration Anywhere 的過程非常簡單，涉及五個步驟，概述如下，并在以下各節中詳細介紹。
- 與 MSA 聯系 并描述您的系統。
- 在傳感器移動時捕獲傳感器數據。
- 將傳感器數據上傳至 MSA 數據門戶 。
- 接收與 NVIDIA Isaac Perceptor 兼容的 URDF 輸出校準包。
- 將 URDF 導入 Isaac Perceptor 工作流中。
MSA 為您的系統配置 Calibration Anywhere 后，您可以使用 calibration-as-a -service 解決方案。這包括上傳傳感器數據和下載校準。您還可以在 Docker 容器中部署 Calibration Anywhere，并在本地運行，而無需發送數據。
第 1 步：連接 MSA 并描述您的系統?
訪問 MSA 演示頁面 并填寫表單。MSA 會與您聯系，并發送使用 MSA 數據門戶的憑據。
第 2 步：在傳感器移動時捕獲傳感器數據
如前所述，移動傳感器系統并捕獲傳感器數據。可以使用多個 ROS 包，但要確保持續記錄。
為確保數據質量（這對于校準成功至關重要），請檢查以下內容：
- 數據不包含差距或丟棄。檢查計算、網絡和磁盤緩沖區是否超載，以及數據是否在裝袋過程中丟失。
- 其中包含主題和消息。檢查系統上所有傳感器的主題是否存在
- 包含準確的時間戳。3D 激光雷達需要逐點時間戳，所有其他傳感器數據需要時間戳。
第 3 步：將傳感器數據上傳至 MSA 數據門戶?
訪問 MSA 上傳頁面 ，使用 MSA 提供的憑據進行身份驗證。單擊“管理機器人”按鈕，然后創建一個平臺和一個實例。平臺是傳感器的特定排列，可能是類似于 DeliveryBotGen5 的東西。實例是屬于平臺的特定機器人，如果您使用名稱，可能是類似于 12 或 Mocha 的東西。
在“Dashboard”頁面中，輸入傳感器數據的標簽，選擇收集數據的機器人實例，然后上傳您的傳感器數據。發送至 MSA 的數據作為機密信息受到 MSA 隱私政策 的保護。
第 4 步：接收包含與 Isaac Perceptor 兼容的 URDF 輸出的校準包
MSA 將使用 Calibration Anywhere 解決方案來校準用于捕獲傳感器數據的傳感器。對于復雜的設置，此過程可能需要幾天或更長時間。完成校正后，您可以從 Data Portal 下載校正，如圖 1 所示。上傳數據的用戶將收到電子郵件通知。
校正輸出包括以下內容：
兼容 NVIDIA Isaac Perceptor 的 URDF：extrinsics.urdf
傳感器外設：extrinsics.yaml
- 包括攝像頭、3D 激光雷達、成像雷達和 IMU 的參考點和 6DoF 姿態、2D 激光雷達的 3DoF 姿態以及 GPS/GNSS 單元的 3D 位置之間的位置 [x，y，z] 和四元數 [x，y，z，w] 變換。
傳感器外設：wheels_cal.yaml
- 包括車軸履帶估算值 (以米為單位)。
- 包括左右驅動輪速度（或每滴答數米）的校正增益系數。
傳感器內部構造：<sensor_name>.intrinsics.yaml
- Includes OpenCV-compatible intrinsics for each imaging sensor: a model that includes a projection matrix and a distortion model.
- 支持魚眼、等距、ftheta3、有理多項式和 plumbob 模型。
- 包括滾動快門相機的讀取時間。
地面檢測：ground.yaml
- 包括相對于傳感器的地面。
時間更正：time_offsets.yaml
- 包括通過攝像頭、激光雷達、雷達、IMU、車輪編碼器和 GPS/GNSS 單位的時間戳校正模型計算出的時間偏移。
第 5 步：將 URDF 導入 Isaac Perceptor 工作流
將 extrinsics.urdf 文件復制到 /etc/nova/calibration/isaac_calibration.urdf、
這是 Isaac Perceptor 使用的默認 URDF 路徑。圖 3 顯示了工作流程。
結束語?
使用 MSA Calibration Anywhere 軟件校準傳感器，并將結果與 NVIDIA Isaac Perceptor 工作流程集成，需要仔細注意傳感器設置和數據收集。確保傳感器系統滿足上述先決條件對于快速成功的校準至關重要。
通過遵循本教程并利用提到的資源，您將做好充分準備，為您的機器人或自主系統項目執行精確的傳感器校準。
?
