アナログ・デバイセズのADTF3175などのiToFセンサーは、ロボット知覚で広く採用されています。これらのセンサーは規則的なパターンで光を照射し、その反射を計算することで深度を測定します。現実世界では、センサーは読出しノイズを示すため、信頼性の高いロボット・ポリシーを学習する場合にはこの干渉を考慮することが不可欠となります。しかし、ほとんどのシミュレーション環境は理想化されたセンサー・データを提供します。たとえば、NVIDIAのIsaac Sim™は、現実世界のセンサーのノイズの多い出力ではなく、幾何学に基づいたクリーンな深度マップを提供します。

このギャップを埋めるため、以前アナログ・デバイセズは、ピクセル・レベルでiToFセンサーの挙動をモデル化する物理ベースのシミュレータを開発していました。正確ではありますが、このシミュレータは、フル・フレームでリアルタイムに使用するには遅すぎました。わずか毎秒0.008フレーム（FPS）という速度は、毎秒数千シーンを必要とするAIポリシーのトレーニングでは現実的ではありませんでした。

この画期的な成果は、機械学習を用いて高忠実シミュレータの出力をエミュレートすることから得られました。アナログ・デバイセズは、高精度なホワイト・ボックス・シミュレータの挙動を近似するサロゲート・モデルとして、多層パーセプトロン（MLP）モデルを訓練しました。重要な点は、チームはこのサロゲート・モデルを、平均的な出力を学習させるだけでなく、元のモデルの変動性とノイズ特性を反映するように設計したことです。

このサロゲート・モデルは、そのタスクを以下の3つのサブタスクに分解します。

• 予想される深度測定値を予測する。
• 不確実性を考慮した標準偏差を推定する。
• ピクセルの深度測定値が無効または未解決となるかどうかを予測する。

サロゲート・モデルはこの確率的出力を利用し、元のシミュレータの本質的で確率的な挙動を捉えつつ、推論を劇的に高速化します。その結果、17FPSで動作するシミュレーションが実現しました。これは高忠実モデルから約1%の誤差を維持しつつ、リアルタイム利用に十分な速度です。

サロゲート・モデル構築後、チームはこれをNVIDIAのIsaac Sim環境に統合しました。ペグの挿入タスクを実行するロボット・アームのデジタル・ツインを用いたテストでは、モデルが元のシミュレータの出力を忠実に再現することが確認されました。この出力には標準シミュレーションでは存在しないノイズさえ含まれていました。

現実世界のiToFセンサーは近赤外（NIR）領域の光学効果に敏感ですが、この特性は標準シミュレーションではしばしば無視されます。さらに、iToFの性能は表面材料によって異なります。両方の挙動を考慮しサロゲート・モデルで再現するため、チームは高速代理推論を採用し、物理実験におけるセンサー挙動との整合性を高めるため、シミュレーション対象物の近赤外反射率を調整しました。

この手法により、特に光沢のない表面において、シミュレーション・データと実センサー・データの差異を低減することができました。不完全ながらも、これらの改良によりシミュレーションと現実のギャップを最小限に抑える大きな進展がありました。チームは現在、基盤となる物理モデルやグラフィックス・パイプラインの変更を含むさらなる改善を積極的に模索中です。