大多數無人機檢查仍然需要人工手動檢查視頻中的缺陷。如果沒有針對每一個可能的缺陷的大量標記數據庫，訓練計算機視覺模型來自動化檢查是很困難的。
在最近的一個NVIDIA GTC會議? ，我們分享了 Exelon 如何在 NVIDIA Omniverse 中使用合成數據生成來自動創建數千個各種網格資產缺陷的標記、照片真實感示例。這篇文章強調了如何使用合成圖像來訓練實時無人機檢查的檢查模型，從而實現更好的網格維護，提高可靠性和彈性。
工程概況
Exelon 是美國最大的受監管電力公司，為伊利諾伊州、馬里蘭州、賓夕法尼亞州、特拉華州、新澤西州和華盛頓特區的 1000 多萬客戶提供服務。
在其下方清理路徑該能源供應商計劃到 2030 年減排 50% ，到 2050 年實現凈零排放。
我們確定了多種好處，包括減少工作人員的現場危險，減少審查圖像的體力勞動，以及加快從圖像捕獲到缺陷解決的時間線，以提高電網可靠性。
我們的方法識別了感興趣的網格資產和圖像數據中的相關缺陷。然后，我們創建了一個資產圖像標記管道，使我們的主題專家（ SME ）能夠標記資產和缺陷。接下來，我們必須與 SME 一起構建、測試和驗證計算機視覺資產和缺陷檢測模型。最后，我們正在努力向業務利益相關者部署解決方案。
存在挑戰。我們需要大量標記的真實世界缺陷數據來訓練和測試人工智能模型。我們想看看在 NVIDIA Omniverse 中生成的合成數據是否可以應對這一挑戰。
我們還想開發一個端到端的可擴展生態系統，這可以幫助我們加快其他輸電和配電資產的部署，如高壓線、輸電塔和變電站。
無人機檢查流程
BGE （ Baltimore Gas and Electric ）是一家 Exelon 公司，為馬里蘭州超過 100 萬客戶提供服務。作為目標現場無人機檢查計劃的一部分， BGE 派出一個現場小組，使用大約 8-15 英尺外的無人機，從不同角度拍攝多張照片，包括正面、側面、頂部和背面。主要目標是在至少一張圖像中看到任何缺陷，無論是在電線桿、橫擔、絕緣體、變壓器還是其他資產中。圖像捕獲的一致性使我們能夠使用人工智能和計算機視覺技術進行自動缺陷檢測。
在這個項目中，我們專注于識別交叉臂中的缺陷，其中 BGE 具有歷史圖像數據，包括有缺陷和無缺陷。 BGE 將減少交叉臂故障確定為提高系統可靠性的主要驅動因素之一。橫擔最常見的缺陷是分裂，這可能會影響安裝的絕緣子的穩定性，并導致客戶停電。
我們的團隊最初使用手動標記的數據進行模型訓練和驗證，以準確檢測和計數無人機圖像中的交叉臂。下一個目標是使用標記的真實世界數據以及合成數據生成進行交叉臂缺陷檢測。我們目前正在對真實圖像和合成圖像上的缺陷檢測模型進行培訓，并正在與業務利益相關者進行模型驗證。
資產檢測模型培訓與評估
由于問題的性質，以及需要識別用于缺陷檢測的對象的精確像素，該團隊選擇在圖像標記中使用分割掩模。
從理論上講，分割返回肯定的識別，并且可以識別每個圖像像素并區分項目。這將在檢測線性裂紋、連接、填充和陰影方面返回更好的性能。
我們的數據科學家花了大量時間測試標記圖像，并了解不同的注釋技術可能會如何影響模型的準確性。
正如我們在資產檢測方面看到的早期成功一樣，我們知道，由于缺乏針對每個可能缺陷的大量標記數據庫，缺陷檢測將更具挑戰性。然而，我們之前曾與 NVIDIA 合作，追溯到 Exelon 購買 NVIDIA DGX-1 系統，并被引入 NVIDIA Omniverse 。該平臺圍繞現場發生的網格資產缺陷的 3D 建模和生成合成數據提供了許多機會。
作為我們與 NVIDIA 合作的一部分，我們舉行了多次會議，對我們的架構進行了集思廣益。我們使用 NVIDIA Omniverse Replicator 生成交叉臂的不同缺陷，這將產生用于訓練檢查模型的標記數據。我們使用 Omniverse 根據尺寸、形狀和位置創建不同類型的橫臂缺陷。
在我們產生足夠的變化和缺陷后，輸出被添加到整個極點結構中。然后我們根據不同的場景、交叉臂的數量和缺陷的數量生成合成圖像。
與第三方合作合成圖像
在與 NVIDIA 的頭腦風暴會議上，我們意識到 3D 建模是一項具有挑戰性的工作，超出了 Exelon 的數據科學核心關注點。我們需要有經驗的藝術家和建模師來構建 3D 模型，融入逼真的環境，以及操縱照明和場景條件。 NVIDIA 幫助 Exelon 與幾家供應商建立了聯系，這些供應商正在使用 NVIDIA Omniverse ，并為其他公用事業和公用事業行業以外的其他用例提供圖像。
對于這個試點，我們選擇了德勤來幫助我們開發交叉臂的合成圖像。 Deloitte 使用 Maya 構建資產和缺陷的 3D 模型，然后使用虛幻引擎進一步開發具有精確照明和場景條件的逼真周圍環境，并將其移植到 NVIDIA Omniverse 中。然后，他們的設計者和開發人員一起工作，輸出標記的圖像，用于缺陷檢測模型訓練。
未來的重點領域和機遇
我們的最終目標是創建一個端到端可擴展的生態系統。我們可以利用這個生態系統從一種資產轉移到另一種資產，從交叉臂開始，并在我們的分銷、輸電以及石油和天然氣資產中擴大規模。
構建分析產品是一項團隊運動。我們與 NVIDIA 和 Deloitte 的合作支持合成圖像生成，并使我們能夠利用外部專家構建 3D 模型、設計背景和標記圖像。我們看到了 Omniverse 作為德勤中心的價值，它可以收集所有可用于創建 3D 圖像的工具，并提供開發大量交叉臂數據集所需的框架。
通過圖像捕獲利用智能將繼續成為 Exelon 和其他公用事業的重點領域。如果該項目成功，我們將能夠擴展到其他輸電和配電資產，如電線桿、變壓器、絕緣子引腳、橫臂支架或輸電塔。
有關更多信息，請參閱以下資源：
- Using Synthetic Data Generation of Grid Infrastructure to Automate Drone Inspection（ NVIDIA 點播視頻；需要注冊）
- NVIDIA Omniverse
- Sustainable Energy Powered with AI
- How to Train a Defect Detection Model Using Synthetic Data with NVIDIA Omniverse Replicator
要深入研究使用合成數據訓練缺陷檢測模型，請參閱NVIDIA Omniverse Synthetic Data Generation論壇
鳴謝
在 Exelon 和 BGE ，我們很幸運擁有杰出的創新者和合作伙伴，他們是各自領域的專家。我們要對參與該項目的多個團隊表示感謝，包括 BGE 分析/創新、無人機檢查、 BGE 配電標準和 BGE 區域電力運營。
特別感謝 Exelon 基礎設施分析團隊的現任和前任成員。我們感謝 Vladyslav Anderson 和 Po Chen Chen 對項目的領導和指導，以及 Reddy Mandati 和 Bishwa Sapkota 在執行這個復雜用例時所做的出色工作。
我們感謝領導團隊對我們的鼓勵，讓我們承擔像這樣具有高影響力的項目。這包括未來理事會的 BGE 效用； Ajit Apte ， BGE 技術服務副總裁，他是我們的主要贊助商；以及 Exelon 的分析領導力，以及運營、分析和商業投資高級副總裁 ISAAC Akridge 。他們的支持、資助和指導對我們的成功是必不可少的。
?
