基于3DGS和NeRF的三維重建技術在過去的一年中取得了快速的進步，動態(tài)模型也變得越來越普遍，然而這些模型僅限于處理原始軌跡域內的對象。

HRMAD作為一種混合方案，將傳統(tǒng)的基于網格的動態(tài)三維神經重建和物理渲染優(yōu)勢結合，支持在任意位置部署網格動態(tài)代理，自由調整環(huán)境條件，在多個相機視角下進行自由切換，與傳統(tǒng)仿真方法相比有效減少了領域差距，同時保留了可控性。

一、方法描述

HRMAD提出的NeRF2GS雙模型訓練范式顯著提升了合成質量，尤其是道路和車道標志，同時滿足交互式幀率。通過此塊級并行訓練架構，可以處理超過10萬平方米場景重建，并同步傳輸出分割掩膜/法線圖/深度圖。通過物理光柵化/光線追蹤渲染后端，HRMAD支持多個相機模型、LiDAR和Radar的實時多模態(tài)輸出。如圖1所示的模型架構。

圖1

具體而言，HRMAD基于RGB相機、GNSS和LiDAR的同步數據進行模型訓練。該方案結合了NeRF優(yōu)秀的泛化能力和3DGS實時的渲染速度，通過T-S結構，將NeRF生成的深度、法線和外觀監(jiān)督信息傳遞給3DGS模型，并通過正則化將LiDAR深度數據引入NeRF，從而實現(xiàn)更準確的幾何結構建模。

傳統(tǒng)基于透視投影的渲染方法通常依賴于特定的投影模型，為了在3DGS場景中適配任意傳感器，HRMAD提出了一種新的渲染算法架構，如下圖2所示。

圖2

該架構基于共享代碼庫實現(xiàn)了光柵化和光線追蹤渲染，用于計算高斯沿射線的貢獻。這樣不僅能夠在三維重建場景中支持任意相機畸變模型，還能夠減輕LiDAR仿真中偽影的產生。圖3展示了在aiSim中采用HRMAD渲染場景并配置LiDAR后，點云的可視化效果。

圖3

圖4表明HRMAD在非常規(guī)視角下RGB、深度、法線和分割（基于Mask2Former）模態(tài)下的幾何細節(jié)和表面特性，重建面積約為165000平方米（ZalaZone測試場，此重建場景將于aiSim5.7版本進行發(fā)布）。

圖4

二、下游任務驗證

1、重建質量驗證

由于HRMAD采用的是基于雙邊網格的色彩校正方法，傳統(tǒng)的PSNR指標不再適用，而SSIM和LPIPS指標對結果相似性更為敏感，但從結果上看，這兩個指標仍然受到ISP解耦導致的RAW與重建圖像之間色彩失配的影響。這一影響體現(xiàn)在了評估結果中，如表1，表中對比了原始3DGS和TCLC-GS在6個Waymo場景上的指標表現(xiàn)。

表1

2、語義分割驗證

在語義分割上分別從三個角度評估模型性能，首先通過統(tǒng)計所有像素中語義分類一致的比例，反映全局重建一致性。
通過Mask2Former獲取真實圖像上計算的分割Mask，并與HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask進行比較，驗證重建的準確性。同時為了降低道路、天空等易分割區(qū)域對整體結果的偏差影響，針對"Car"進行單獨IoU計算。

為確保驗證過程的公平性，真實圖像被重投影至與渲染過程一致的無畸變針孔相機參數空間，當重建結果正確標注了遠距離或被遮擋物體，而Mask2Former因輸入信息有限導致誤判時，此類誤差會被計入評估指標。同時在夜間拍攝場景和相機直對太陽的場景中(如場景11037651和14663356)，掩膜一致性顯著下降。結果如表2所示。

表2

其次在非常規(guī)視角下進行模型渲染，并基于Mask2former生成的Mask與模型預測Mask進行比較。此渲染視角沿自車軌跡生成，并在[-1,3]米范圍內平移前視相機仿真模型。表3展示了針對道路表面信息和車輛的重建性能。其中Car類型的重建性能相對較低，這是由于Mask2Frame無法檢測遠處或被遮擋的物體，從而擴大了差異。圖5顯了示相關結果，綠色為匹配區(qū)域，藍色和橙色分別表示模型預測Mask和Mask2Former的Mask輸出。

表3

圖5

最后在非常規(guī)渲染視角下（高5m，橫向偏移2m，向下偏轉25°），針對車道線和路沿語義分割結果進行了定性評估，如圖6所示。

圖6

3、3D目標檢測驗證

為了驗證HRMAD在3D目標檢測上的一致性，采用在Waymo Open數據集訓練中公開的DEVIANT 3D目標檢測模型，進行定量和定性實驗。

定量實驗中，在Waymo-13469905891836363794片段中從[0,3]橫向偏移視角下進行驗證，并通過平移變換后的3DBBox定量計算。定性實驗選取三個駕駛片段進行靜態(tài)環(huán)境渲染，并基于網格渲染添加動態(tài)車輛，主要用于評估仿真生成的車輛是否引入了領域差距。

表4基于Waymo指標進行驗證，Original為原始圖像。特別在近距離下，HRMAD的表現(xiàn)性能要優(yōu)于原始圖像，這是由于原始圖像中假陽FP數量更高。在非常規(guī)視角渲染下，觀察到的差異主要是橫向偏移視角下目標截斷的數量增加，但整體檢測結果在很大程度上保持一致。

表4

圖7為DEVIANT模型在HRMAD渲染Waymo場景中的表現(xiàn)。

圖7

三、結語

雖然HRMAD渲染方法旨在減少區(qū)塊邊界的不連續(xù)性，但仍不可避免地會產生可見的偽影，特別是在天空和遠距離目標區(qū)域中。比如天空的RGB重建效果良好，但在自動駕駛仿真測試場景中，在非常規(guī)視角下仍然會導致偽影和結構痕跡。

在下游任務中，HRMAD針對自動駕駛場景的評估結果已非常接近真實數據，但由于樣本有限，仍需要更大規(guī)模的數據集進行進一步驗證。未來的研究也會致力于進一步縮小重建場景和真實數據之間的領域差距，具體來說，可以通過探索層次化高斯?jié)姙R來減少區(qū)塊偽影，并利用生成的法線信息改進LiDAR強度模擬，來更好地反應點云數據的方向敏感強度。

目前，HRMAD生成場景已集成在aiSim中，可在不同傳感器模型配置方案下，實現(xiàn)端到端仿真測試交互式驗證和測試。