GTC 巴黎 | 英偉達推開AI定義汽車的大門

　　　　　　自進入智能汽車時代以來，英偉達在全球汽車產業的地位就變得無可撼動。

　　　　　　本周在法國巴黎舉辦的GTC Paris大會上， NVIDIA 發布全新的 AI 模型和開發者工具，推動汽車行業生態系統發展。同時，NVIDIA還發布了全棧式輔助駕駛軟件。

　　　　　　全球交通運輸行業正借助 NVIDIA AI、輔助駕駛軟件和加速計算打造未來 AI 定義的汽車。

　　　　　　輔助駕駛堆棧正在從許多不同的模型演變為統一的端到端架構，端到端架構可直接根據傳感器數據執行駕駛操作。這種向使用大模型的過渡大大增加了對用于訓練、測試和驗證的高質量、基于物理學傳感器數據的需求。

　　　　　　為加速下一代輔助駕駛架構的開發，NVIDIA 發布了 NVIDIA Cosmos Predict-2。這是一種全新的世界基礎模型，具有更強的未來世界狀態預測能力，可生成高質量的合成數據，以及新的開發者工具。

　　　　　　Cosmos Predict-2 是 NVIDIA Cosmos 平臺的一部分，該平臺為開發者提供了應對端到端輔助駕駛開發中最復雜挑戰的技術。

　　　　　　Cosmos Predict-1 可通過文本、圖像和視頻提示預測并生成未來世界狀態。在 Cosmos Predict-1 的基礎上，Cosmos Predict-2 可更好地理解文本和視覺輸入的上下文，從而減少幻覺，使生成的視頻細節更豐富。

　　　　　　通過使用最新的優化技術，Cosmos Predict-2 顯著加快了 NVIDIA DGX Cloud 上合成數據的生成速度。

　　　　　　通過在輔助駕駛數據集上對 Cosmos 模型進行后訓練，開發者可以生成與現有物理環境與車輛軌跡高度匹配的視頻，還能從單視角視頻（如行車記錄儀片段）生成多視角視頻。這種將廣泛可用的行車記錄儀數據轉化為多攝像頭數據的能力，為開發者提供了全新的輔助駕駛訓練數據庫。這些多視角視頻數據還可用于替換因傳感器損壞或遮擋而缺失的真實攝像頭數據。

　　　　　　除 Cosmos Predict-2 外，NVIDIA 還以 NVIDIA NIM 微服務預覽版的方式發布了Cosmos Transfer，以便開發者在數據中心 GPU 上部署。

　　　　　　Cosmos Transfer NIM 微服務預覽版增強了數據集，并使用 NVIDIA Omniverse 平臺的結構化輸入或地面實況仿真來生成逼真的視頻。另外，NuRec Fixer 模型有助于修復和填補重建輔助駕駛數據的空白。

　　　　　　全球領先的開源輔助駕駛模擬平臺 CARLA，現已將 Cosmos Transfer 和 NVIDIA NuRec 集成到其最新版本中，后者是一套用于神經重建和渲染的 API 工具集。

　　　　　　開發者可以使用 NVIDIA 物理 AI 數據集上提供的開源數據試用該工作流。最新發布的數據集包括由 Cosmos 生成的 40,000 個片段，以及用于神經渲染的樣本重建場景。借助最新版本的 CARLA，開發者可以創建新的行駛軌跡、重新定位傳感器并完善模擬駕駛過程。

　　　　　　這種可擴展的數據生成工作流為端到端輔助駕駛模型架構的開發提供了動力，最近 NVIDIA Research 團隊連續第二次獲得 CVPR 大會輔助駕駛國際挑戰賽“端到端輔助駕駛”賽道冠軍，就是最佳佐證。

　　　　　　該挑戰賽為研究人員提供了探索應對突發情況方法的新機會，除使用真實世界人類駕駛數據之外，加速開發更智能的汽車。

　　　　　　除了發布全新的 AI 模型和開發者工具，NVIDIA 還宣布 NVIDIA DRIVE 全棧式輔助駕駛軟件平臺現已全面投產。該平臺與 NVIDIA 加速計算技術相結合，為汽車行業提供了 AI 驅動的移動出行堅實基礎。

　　　　　　NVIDIA DRIVE 的模塊化靈活方法使客戶能夠根據其具體需求進行擴展，無論是采用整個堆棧還是子集。NVIDIA 強大且通過安全認證的輔助駕駛軟件架構支持實時傳感器融合，并可通過無線更新實現持續改進。

　　　　　　隨著技術和法規的發展，NVIDIA DRIVE 的可擴展性允許汽車制造商部署一系列高級輔助駕駛功能的子集，如可無縫過渡到更高級的 L2++ 級和 L3 級汽車的環視感知、自動變道、泊車和主動安全。

　　　　　　NVIDIA 的三個計算平臺方案增強了 NVIDIA 的全棧式端到端輔助駕駛軟件，該方案涵蓋整個智能汽車開發工作流，旨在應對與大規模安全部署輔助駕駛相關的挑戰。

　　　　　　這三個計算平臺方案包括：用于訓練 AI 模型和開發輔助駕駛軟件的 NVIDIA DGX 平臺和 GPU。運行在 NVIDIA OVX 平臺上的 NVIDIA Omniverse 與 NVIDIA Cosmos 平臺，用于仿真和合成數據生成，能夠測試和驗證輔助駕駛場景，并優化智能工廠運營。NVIDIA DRIVE AGX 車規級車載計算平臺，用于處理實時傳感器數據，以實現安全、高度自動化和輔助駕駛功能。

　　　　　　輔助駕駛軟件開發歷來基于模塊化方法，包括用于感知、預測、規劃和控制等的獨立組件。這種方法固然有其優點，但也會造成潛在的低效和錯誤，從而可能對大規模開發帶來阻礙。

　　　　　　NVIDIA DRIVE 輔助駕駛軟件整合了這些功能，利用在大量人類駕駛行為數據集上訓練的深度學習模型和基礎模型來處理傳感器數據并直接控制車輛行為，從而無需依賴預設規則或傳統的模塊化流水線。因此，車輛能夠從大量的真實和合成駕駛行為數據中學習，以類似人的決策方式安全應對復雜的環境和場景。

　　　　　　NVIDIA Omniverse 智能汽車仿真 Blueprint 可用于進一步增強開發流水線，從而實現物理級精確的傳感器仿真，用于輔助駕駛訓練、測試和驗證。通過將該 Blueprint 與 NVIDIA 的三個計算平臺方案相結合，開發者可以將數千英里的人類駕駛里程轉化為數十億英里的虛擬駕駛里程，從而提高數據質量并實現高效、可擴展且持續改進的智能汽車系統。

　　　　　　安全性是所有智能汽車最重要的組成部分。為增強輔助駕駛系統的運行安全性，NVIDIA 今年早些時候推出了 NVIDIA Halos，這是一個綜合安全系統，它將 NVIDIA 全套汽車硬件、軟件安全堆棧與專注于汽車安全領域的前沿 AI 研究成果相結合，有助于確保智能汽車從云端到車端的安全開發和部署。Halos 為仿真、訓練和部署的輔助駕駛安全提供了護欄。

　　　　　　該安全框架的一個關鍵組成部分是用于輔助駕駛的經 ASIL-B/D 級標準安全認證的 NVIDIA DriveOS 操作系統，可為車輛安全運營提供強大、可靠的基礎，并符合嚴格的汽車安全標準。

　　　　　　借助 Halos 和智能自適應傳感器的支持，NVIDIA 的輔助駕駛堆棧提供了當今加速安全智能出行所需的工具、計算能力與基礎 AI 模型。

　　　　　　汽車行業領軍企業博世、Easyrain 與 Nuro 率先加入 NVIDIA Halos AI 系統檢測實驗室，驗證其產品與 NVIDIA 技術的安全集成，提升智能汽車的安全性。今年早些時候宣布加入實驗室的成員還包括大陸集團、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。