李飛飛團隊開源數字孿生近似體自動化創建方法ACDC

在現實中訓練機器人策略既不安全又昂貴，還難以擴展。 雖然模擬環境可以提供大量廉價的數據，但模擬和現實之間有差異。 這些差距可以通過“數字孿生”技術來縮小，數字孿生是現實世界的虛擬複製品，但製作成本高且無法廣泛應用。 爲了解決這個問題，斯 坦福大學李飛飛團隊提出了“數字近似體”的概念。它不像數字孿生那樣完全複製現實場景，而是創建與現實在幾何和語義上相似的虛擬環境，成本更低，且有助於模型在不同場景下更好地泛化。

基於此，團隊開發了一種名爲“數字近似體自動創建”（ACDC）的方法，設計了一個完全自動化的“現實到模擬再到現實”的訓練流程，將現實場景轉換爲可交互的虛擬環境，訓練後能直接應用於現實機器人策略。（鏈接在文章底部）

01 技術原理

ACDC 包含三個連續步驟：

1. 首先，從輸入的 RGB 圖像中提取與每個物體相關的信息。

2. 接着，利用這些信息與資產數據庫進行比對，找到與檢測到的物體相匹配的數字模型（也就是 "數字孿生體"）。

3. 最後，對選中的數字孿生體進行後期處理，並生成一個完全可交互的模擬場景。

ACDC主要通過實驗回答以下幾個問題：

Q1: ACDC 能生成高質量的數字孿生場景嗎？給定一張 RGB 圖片，ACDC 能否捕捉到原始場景中的高級語義和空間細節？

Q2: 在原始場景中測試時，基於數字孿生體訓練的策略，是否能達到基於數字孿生體訓練的策略相同的表現？

Q3: 在不同於訓練的場景中，基於數字孿生體訓練的策略，是否比基於數字孿生體訓練的策略具有更好的魯棒性？

Q4: 基於數字孿生體訓練的策略，能否直接應用到真實世界而無需額外調整？

首先看兩個物體之間的距離最大值，再看場景裡有多少物體被正確分類和建模。然後，比較原始場景和重建場景中物體位置的平均差距，以及物體的朝向差異。最後，計算物體邊界框之間的重疊程度，用 IoU 來衡量物體匹配的精度。

根據這些結果，可以肯定地回答 Q1：ACDC 確實能夠保留輸入場景的語義和空間細節。它可以通過一張 RGB 圖片生成現實物體的數字孿生體，並且這些數字孿生體能夠被精確地定位和縮放，與原始場景相匹配。

02 實際效果

使用數字孿生體進行模擬到模擬策略學習

使用數字孿生體進行模擬到現實的策略學習

真實到模擬再到真實的場景生成與策略學習

根據這些結果，可以自信地回答 Q2、Q3 和 Q4：使用數字孿生體訓練的策略在相同分佈下的表現與基於數字雙胞胎訓練的策略相當，並且在不同分佈的數據上表現得更加穩健。此外，這些策略還能實現“零樣本遷移”，即無需額外調整，就能直接從模擬環境應用到真實世界中。

歡迎交流～，帶你學習AI，瞭解AI