筆者：ユヴァル・ズッカーマン（Yuval Zukerman）、エッジAIパートナーシップ担当ディレクタ
2026年8月19日
触覚という果たされなかった約束
カメラは長い間、ロボット・アームの主要センサーとして用いられてきました。ピック・アンド・プレースといったユースケースでは、カメラは十分に機能します。しかし、プラグをコンセントに差し込んだり、ネジを締めたりといった、タイトフィット作業には、それ以上の能力が求められます。ロボットは、カメラでは捉えられない微細なズレや左右の傾き、グリップ力を感知しなければなりません。
視覚ベースの触覚センサーは、そのギャップを埋めることを目指しています。各指先に装着されたこれらのセンサーは、圧力によって表面がどのようにたわむかを詳細にマッピングします。その理屈は明白です。カメラ・データと触覚データを統合すれば、ロボットの性能は向上するはずです。しかし、触覚ベース学習のベンチマークであるTacSLを用いてこのアイデアを大規模に検証したところ、結果は厳しいものとなりました。
単純な融合が失敗する理由
2つのデータ・ストリームの潜在表現を単純に連結するだけの素朴なセンサー融合は、多くの場合、ほとんど役に立たないか、むしろ逆効果になることさえありました。VTFSA、ConViTac、AdapTacといった一般的な融合手法は、この問題を解決するために、学習されたウェイトやアテンションを活用しようとしてきました。それらの手法はこの課題を純粋なデータの問題として捉え、何が重要かをAIモデルに判断させます。いずれの手法も、グリップや挿入が実際にどのように機能するかという物理的メカニズムについては説明していません。
根本的な問題は、データのミスマッチにあります。手首のカメラは、シーン全体の64 × 64のカラー画像を生成します。各触覚センサーは、指先1か所の32 × 32の力マップを生成します。これらの入力データは、スケール、単位、意味が異なります。モデルがこれらの関係性を一から学習しなければならない場合、特に学習の初期段階で触覚信号にノイズが多く、データがまばらなときは、学習に失敗することがよくあります。
これまでの研究では、各ストリームのウェイトを再調整するためにゲーティングやアテンションが用いられてきました。これらは有効ですが、適切なブレンドを見つけるには依然としてモデルに依存しています。より根本的な解決策は、既知の物理法則を用いて、触覚データの中から何を探すべきかをモデルに指示することです。
脳科学に基づくグリップ・バランスの法則
ICRAで発表されたアナログ・デバイセズ（ADI）の新しい論文は、まさにこの点に取り組んでいます。筆者のウォンジュ・リー（Wonju Lee）、マッテオ・グリマルディ（Matteo Grimaldi）、タオ・ユー（Tao Yu）の3名は、人間の運動制御による概念であるバランスの取れたグリップ力を用いて、物理的制約を視覚、触覚の融合に直接組み込む「クロス・モーダル・トランスフォーマ（CMT）」のフレームワークを提案しています。
プラグをコンセントに差し込む時、この作業を成功させるためには、指にかかる力を両側でほぼ均等に保つ必要があります。MorassoやBizziらによる研究では、このバランスが安定したグリップの鍵となることが示されました。この研究チームは、この知見を補助損失を用いたモデル・アーキテクチャの設計要素に応用しました。具体的には、潜在空間における2本の指の間の触覚力マップに注目し、学習中に左指と右指の力パターンの間に生じるギャップに対してペナルティを課すようにしています。これにより、挿入作業全体を通じてロボットがグリップのバランスを保つよう促されます。
CMTモデルのアーキテクチャは、2つの構成要素から成っています：
- セルフ・アテンションが左右の触覚信号を結び付け、モデルはそれらをペアとして認識します。
- クロス・アテンションにより、カメラ・ストリームは触覚ストリームに「どのような補正が必要か？」と問い合わせることができます。触覚は、位置ずれを示す力パターンを応答として返します。
システム全体は、PPO（近接方策最適化）を用いてエンド・ツー・エンドで学習を行い、タスク報酬とバランス・ペナルティを組み合わせています。このアプローチは、より広範な「物理学に基づく機械学習」の分野に根ざしたものです。
結果：グラウンド・トゥルース力ベースラインのマッチング
この研究チームは、NVIDIAのGPU加速型強化学習環境であるIsaacGymEnvs上で実行されたTacSLのベンチマークを用いて、自らの研究成果を評価しました。評価の結果、力バランスのペナルティを採用したCMTは、96.59%の挿入成功率を達成したことが判明しました。これは、単純な統合（92.97%）を3.62パーセント上回り、ゲート付き融合（94.53%）をも上回る結果です。また、シミュレータから得られるグラウンド・トゥルースの接触力を利用し、ある種の「不正」が許されるベースラインに近い結果を出しています（96.09%）。実際のロボットにはそうした力を利用できないため、このギャップを埋めることが重要です。
その効果は、単なる数値だけでなく、動作にも表れます。単純な融合では、ペグが挿入されるソケットの壁に接触すると、グリップのバランスが崩れてしまいます。ロボットはぐらつき、再びグリップし、無駄な動作をします。CMTを使用すると、力が均一に保たれ、プラグがまっすぐに挿入されます。平均して、CMTでは1回の挿入あたり2.83％少ない手順で済みます。ネジ締めタスクにおけるサイド・テストでは、触覚のみに基づくポリシーが100％の成功率を達成し、グラウンド・トゥルース力ベースラインさえも上回りました。これは、接触が作業のすべてである場合、高解像度の触覚のみでも高精度な組み立てが可能であることを示しています。
速度面でも優れています。CMTは1秒あたり153フレームで動作し、1回のフォワード・パスあたりの処理時間は6.52msで、リアルタイム・ロボット制御の基準となる60Hzを大幅に上回っています。
業界にとってこれが意味するもの
自動組立システムを開発するチームにとって、3つの点が特に重要です。
- タイトなはめ込み作業において、触覚センシングはあれば便利なものではなく、必須の要素です。
- センサー・データの統合方法は、センサーそのものと同じように重要です。優れた触覚センサーを購入するだけでは不十分です。それらを効果的に活用できるモデルが必要です。
- 物理ベースのアプローチを採用することで、タスクごとに個別の調整を行う必要がなくなります。ほとんどのグリップのタスクは同じ物理法則に基づいているため、バランスの取れたグリップ力が機能します。また、153fpsの処理速度を誇るCMTは、特別なハードウェアを必要とせず、標準的なハードウェア上で動作します。
限界と未解決の問題
すべての試験はシミュレーション上で実施されています。実ロボットによる試験結果は現時点では存在していません。バランスの取れたグリップ力によるアプローチは、対称的なプラグでのみ試験されました。本論文では、キャリブレーション手順を経てこれを非対称な物体にも拡張する方法について記述していますが、これはまだ試験されていません。CMTのみにバランスのとれたグリップ力を加えた場合の向上幅は小さく（96.22%から96.59%）、一部の方法間ではエラー・バーが重なっています。また、この研究では、異なるアプローチをとるVTLAのような最近の言語誘導型融合手法については扱っていません。
次のステップ
次のステップは、シミュレーションから実環境への移行であり、データ・センターでのパッチ・ケーブルの挿入など、力のバランスが極めて重要な実世界の挿入作業において、チームのアプローチの有効性を検証することです。これらのシナリオでは、コネクタを損傷することのない確実な挿入を行うために、高精度の力の制御が求められます。このチームは、高密度センシングと、高速、高周波かつ堅牢な性能を兼ね備えたアナログ・デバイセズの画期的な触覚センサーのプロトタイプを用いて、これを実証する予定です。視覚や触覚にとどまらず、このチームは研究の範囲を、より接触の多い作業へと拡大する予定です。こうした作業においてもマルチモーダルな触覚プラットフォームが有効に機能すると信じていて、多様な産業環境において、より汎用的で信頼性の高い操作が可能になると期待されています。