GMSLを活用し、高性能のロボット・ビジョンを構築する

×

Figure 1

   

要約

多くのロボットは、周囲の状況について認識した上で何らかの作業を行います。現在では、ロボットに実装されるビジョン・システム（ロボット・ビジョン）への依存度が従来にも増して高まっています。その結果、高速かつ遅延の小さいデータ・リンクに対する需要が増大しました。そのようなニーズに対応可能な技術として、GMSL^™（Gigabit Multimedia Serial Link）に注目が集まっています。GMSLでは、1本のケーブルによってビデオ・データ、制御信号、電力を高い信頼性で伝送できるからです。本稿では、まずロボットにカメラを配備する方法について説明します。続いて、その際に接続性に関して直面する課題を明らかにします。その上で、性能が重視され、スケーラブルで堅牢性が高いロボット・ビジョンをGMSLを利用して実現する方法について解説します。

はじめに

多くのロボットは、周囲の状況について認識し、移動し、何らかのタスクを実行します。つまり、まずは稼働環境について把握することが必要になります。そのために用いられるのが、高度なマシン・ビジョンの機能です。ロボット・ビジョンには、より多くのカメラとより高い解像度が求められます。また、ビデオ・データをリアルタイムに伝送したり集約したりすることが可能なことが非常に重要です。そのため、高速かつ遅延の小さいリンクに対するニーズがかつてないほど高まっています。

GMSLは元々、車載アプリケーション向けに開発された技術です。ただ、現在ではロボット・ビジョンで利用可能な強力かつ効率的なソリューションとしても注目されています。GMSLを利用すれば、ビデオ・データを高速に伝送できるだけでなく、双方向の制御信号や電力も1本のケーブルによって伝送できるからです。しかも、ビット・エラー・レート（BER）を極めて低く抑えつつ、マイクロ秒レベルの確定的遅延で長距離の伝送を実現することが可能です。また、1本のケーブルしか必要としないことから、ワイヤ・ハーネスが簡素化されます。その結果、ソリューション全体の実装面積を削減することが可能になります。このような理由から、GMSLはマシン・ビジョンを中核的な要素として利用し、動的かつ過酷な環境で稼働するロボットにとって最適な選択肢になります。

以下では、まずロボットにおいてカメラが配置される場所と使用方法について説明します。続いて、ロボット・ビジョンのアプリケーションが直面するデータ／接続性に関する課題を明らかにします。その上で、GMSLを利用してロボット・ビジョン用のプラットフォームを構築する方法について解説します。GMSLは、スケーラブルで、信頼性が高く、性能の高いプラットフォームの構築に役立つ技術です。

ロボットのどこでカメラを使用するのか？

多くのロボットは、知覚の中核的な要素としてカメラを使用します。それにより、周囲の状況をリアルタイムに把握して対応を図ることが可能になります。実際、多くのロボットにとって、ビジョン・システムは自律性、自動化、相互作用を実現するために不可欠な要素です。倉庫の通路を移動するロボットや、荷物の仕分けを担うロボット・アーム、人とやり取りするサービス用のロボットなどはいずれもビジョン・システムを必要とします。ただ、使用されるカメラの特徴や形態は様々です。また、担うべき作業に応じ、カメラはロボットの様々な場所に取り付けられます。それだけでなく、プラットフォームにおける物理的な制約や動作上の制約に応じてカスタマイズされることも少なくありません（図1）。

自律性

自律型のロボットにおいて、カメラは目として機能します。それによりロボットは周囲の状況を把握し、障害物を回避し、その環境における自身の位置を特定します。配送用のロボット、倉庫用のシャトル、農業用のローバーなどが自律型／移動型のロボットの例です。多くの場合、それらのロボットではその四隅や端に視野角の広いカメラを配置しなければなりません。つまり、サラウンド・ビュー・システムが重要な要素になります。それにより、360°の視野角で周囲の状況を認識します。その結果、ロボットは何らかの物体との衝突を回避しつつ、複雑な空間を自律的に移動することが可能になります。

自律型の他のアプリケーションでは、下向き／上向きのカメラが使用されることがあります。それにより、床や天井、壁面の基準マーカーを読み取るのです。ここで、基準マーカーは視覚的な標識として機能します。それを利用することにより、ロボットが工場や病院などの構造化された環境を移動する際、位置を再調整したり特定の機能を起動したりすることが可能になります。より高度なシステムでは、ロボットの前面／側面にステレオ・ビジョン・カメラやToF（Time Of Flight）カメラが配置されます。それにより、3次元のマップの生成、距離の推定、SLAM（Simultaneous Localization and Mapping）の支援が実現されます。

多くの場合、各カメラの位置は、ロボットのサイズ、移動性、必要な視野角に基づいて決定されます。例えば、歩道を走る小型配送ロボットの場合、恐らくは4面すべての埋め込みパネル内にカメラが配備されるでしょう。また、ドローンの場合、通常はナビゲーション用の前向きのカメラと着陸や物体の追跡用の下向きのカメラが実装されます。

オートメーション

産業用オートメーションの分野において、ビジョン・システムはロボットが反復作業や精密な作業を迅速かつ一貫して実行するために利用されます。その場合、カメラはロボット・アーム（把持部やエンドエフェクタのすぐ隣）に取り付けられます。それにより、視覚的な検査や位置の特定、物体の操作を高い精度で実行することが可能になります。これらの能力は、ピック＆プレースの作業において特に重要です。ピック＆プレースでは、部品やパッケージの正確な位置と向きを特定することが不可欠だからです。

また、カメラはガントリーやオーバーヘッド・レール（頭上のコンベア）に取り付けられることもあります。その場合、カメラは作業エリアの上方に固定され、コンベア上の商品を監視したり、バーコードをスキャンしたりする役割を果たします。倉庫で使用される移動型ロボットの場合、カメラは前方に取り付けられます。その目的は、棚のラベルや標識、QRコードを検出することです。それにより、作業の動的な割り当てや経路の変更などが可能になります。

検査用のロボットの場合、マストや多関節アームにズーム機能付きのカメラが実装されることがあります。この種のロボットは、特にインフラ、公共事業、重工業といった領域で使用されます。ズーム機能を備えるカメラを使用すれば、溶接の継ぎ目やケーブル・トレイ、パイプの継手などの画像を高い解像度で取得できます。それにより、人の手で行うには危険な作業や時間がかかる作業を回避することが可能になります。

人間とのやり取り

カメラは、ロボットが人間と関わる上でも中心的な役割を果たします。例えば、協働型の製造、医療、サービスといった分野で使われるロボットは、ジェスチャを理解し、顔を認識すると共に、存在感を維持する必要があります。それを可能にするのがロボット・ビジョンです。

ヒューマノイド・ロボットやサービス用のロボットの場合、頭部や胸部にカメラが埋め込まれます。そのようにして人間の視線を模倣することで自然なやり取りを実現します。それらのカメラは、ロボットが表情を解釈したり、アイ・コンタクトを維持したり、人の視線を追跡したりすることに役立ちます。また、深度カメラまたは魚眼レンズを搭載したロボットも存在します。それらのカメラは、体の動きを追跡したり、人が共有のワークスペースに入ったことを検出したりするために使用されます。

人間と作業を行う協働型のロボット（コボット）の場合、マシン・ビジョンを使用することで安全性と応答性を確保します。近づいてくる手足や工具を監視し、動作を調整して衝突を避けたり、人が近づきすぎた場合には作業を一時停止したりします。

マシン・ビジョンは、遠隔操作用のシステムや半自律型のシステムでも重要な役割を果たします。それらのシステムでは、前面に取り付けたカメラを使用し、遠隔地にいるオペレータにライブのビデオ・データをストリーミングします。それを利用して、オペレータはリアルタイムの制御や検査を実施します。また、そのビデオ映像に拡張現実（AR）を適用することで、リモートでの診断やトレーニングなどを支援することも可能です。

これらすべての例において、カメラの配置場所を決定する際には様々な事柄について検討しなければなりません。例えば、ロボットの機能やフォーム・ファクタ、環境などについて考慮する必要があります。その上で、ロボットの把持部、ジンバル、基部、頭部といった配置場所を決定します。ロボットの機能が高度になり自律性が高まるにつれて、ビジョン・システムはより大きな役割を担うことになります。ロボットにカメラを統合するのは不可欠なことであり、そのための設計はより高度なものになります。

ロボット・ビジョンが抱える課題

ここまでに説明したとおり、ビジョン・システムはロボットのインテリジェンスの基盤として利用されます。それに伴い、ビジネスのチャンスが増大しています。その一方で、設計の複雑さも大幅に増しています。強力な機能を備える高性能のカメラは、リアルタイムの認識、正確な操作、人間とのより安全なやり取りを可能にする重要な要素です。そうしたカメラを統合するロボットのアーキテクチャについては、より厳しい要求が突き付けられます。もはや大量のビデオ・データを高速に伝送するだけでは不十分です。今日のロボットの多くは、マルチモーダル・センサーによる検出結果に基づいて瞬時に判断を下します。同時に、機械的な動作が、安全を確保できる範囲内で実行されるようにしなければなりません。また、電力に関する制約について管理し、電磁干渉（EMI）の問題を回避する必要があります。加えて、人のすぐ近くで稼働させるためには、機能安全を厳格に実現しなければなりません。

これらの課題は、ロボットが稼働する環境に依存して更に複雑化します。倉庫で使用されるロボットは、冷蔵庫に何度も出入りするかもしれません。その場合、急激な温度の変化や結露に耐えられるようにする必要があります。また、農業用のローバーは舗装されていない畑を動き回ることになるでしょう。そのため、絶え間ない振動と機械的な衝撃を吸収できるようにしなければなりません。病院や公共スペースで使われるサービス用のロボットは、視覚的に複雑な見慣れない環境で運用される可能性があります。そのロボットは、迅速に環境に適応し、人や障害物を回避して安全に移動するように設計される必要があります。

数々の課題を解決するGMSL

GMSLを利用すれば、現在のロボットに求められる多くの要件を満たせます。そのため、GMSLは独自のポジションを確立した技術となりました。GMSLの特徴の1つは、帯域幅、堅牢性、統合に関する柔軟性を併せ持っている点にあります。このことから、センサーを多数使用し、動的でミッション・クリティカルな環境で動作するプラットフォームを構築する場合の最適な選択肢になります。では、GMSLにはそれ以外にどのような特徴があるのでしょうか。また、GMSLを利用すると、なぜロボット・ビジョンに関する様々な課題を解決できるのでしょうか。以下、GMSLが備えるいくつかの特徴について詳しく説明します。

高いデータ・レート、小さな遅延

GMSL2^™またはGMSL3^™に対応する製品ファミリは、順方向のチャンネル（ビデオ・パス）のデータ・レートとして3Gbps、6Gbps、12Gbpsをサポートします。そのため、ロボット・ビジョンの広範な用途に対応できます。リンク・レートについて高い柔軟性を備えることから、解像度、フレーム・レート、センサーの種類、処理に関する要件に応じた最適化を図ることが可能です（図2）。

多くのサラウンド・ビュー・カメラでは、2MP（メガピクセル）～3MPのローリング・シャッタ・センサーを60fps（フレーム／秒）で使用します。このようなカメラに対しては3Gbpsのリンクで十分です。また、ToFセンサー、点群出力を備えるLIDARユニット、検出データや圧縮画像などを応答として送信するレーダー・センサーといった一般的なセンシング・モダリティにも3Gbpsのリンクで対応できます。

通常、6Gbpsのモードはロボットのメインの前方カメラで使用します。物体の検出、セマンティックの把握、標識の認識などを行うには、より解像度の高いセンサー（通常、8MP以上）が必要になるからです。6Gbpsのデータ・レートであれば、未処理のデータを出力するToFセンサー、2つのイメージ・センサーからの未処理のデータをストリーミングするステレオ・ビジョン・システム、統合されたイメージ・シグナル・プロセッサ（ISP：Image Signal Processor）が処理した点群ストリームを出力するシステムにも対応できます。現在市販されているステレオ・カメラの多くは、高いフレーム・レートを実現するためにこのデータ・レートを採用しています。

ハイエンドのアプリケーションでは、12Gbpsのリンクが使われます。各種のロボットの中には、物体の高度な分類、シーンの分割、距離の離れた位置からの認識を必要とするものがあります。そのようなアプリケーションでは、解像度が12MP以上のカメラが使用されることがあります。そのため、12Gbpsのデータ・レートが必要になるのです。ただ、解像度の低い一部のグローバル・シャッタ・センサーでも、より高速なリンクが必要になることがあります。例えば、高速なキャプチャ・サイクルに対応するために読み出し時間を短縮したり、モーション・アーティファクトを防止しなければならなかったりするからです。動的な環境または高速に変化する環境では、高速なリンクが非常に重要な要素になります。

GMSLでは、周波数領域の多重化を使用して順方向（ビデオ・データと制御用のデータ）のチャンネルと逆方向（制御用のデータ）のチャンネルを分離します。それにより、データが衝突するリスクを排除しつつ、小さな確定的遅延で双方向の通信を実施することが可能になります。GMSLでは、すべてのリンク・レートにおいて遅延が非常に小さく維持されます。通常、GMSLのシリアライザの入力からデシリアライザの出力までに生じる遅延は、数十マイクロ秒（前半）です。これは、リアルタイム対応のほとんどのロボット・ビジョンでは無視できるレベルです。逆方向のチャンネルで確定的遅延が保証されるため、ホストからカメラへの正確なハードウェア・トリガが可能になります。このことは、複数のセンサーの間で同期をとりつつ画像をキャプチャしたい場合に重要な意味を持ちます。また、ロボットのワークフローが複雑で、迅速な対応が求められるイベント駆動型のフレーム・トリガには不可欠な要素です。USBまたはイーサネットによってカメラを接続する場合、このレベルのタイミング精度を達成するにはハードウェア・トリガのラインを別途追加する必要があるでしょう。その結果、システムの複雑さとケーブルのコストが増大します。

小さな実装面積、少ない消費電力

GMSLがもたらす重要な価値の1つは、インフラのケーブルとコネクタを削減できることです。GMSL自体は全二重リンクの技術です。この技術を適用したほとんどのカメラでは、PoC（Power over Coax）機能が利用されます。つまり1本の同軸ケーブルによって、ビデオ・データ、双方向の制御信号、電力が伝送されます。そのため、配線を大幅に簡素化できます。言い換えれば、かさばるケーブル・ハーネスと全体的な重量を削減できるということです。また、小型のロボットや多関節対応のロボットのプラットフォームにおいても、機械的なルーティングが容易になります（図3）。

GMSLに対応するシリアライザは、ビデオ・インターフェース（MIPI CSIなど）とGMSLの物理層（PHY）を1チップに統合した集積度の高いデバイスです。通常、その消費電力は、6Gbpsのモードで260mW程度に収まります。同等のデータ・スループットを実現可能な他の技術と比較すると、消費電力が少ない点で優位性があると言えます。それ以外にもGMSLは様々な特徴を備えており、基板面積の削減、熱管理に関する要件の緩和（多くの場合、かさばるヒート・シンクが不要）を図れます。また、特にバッテリ駆動のロボットではシステム全体の効率の向上につながります。

センサーによるアグリゲーション、ビデオ・データのルーティング

GMSLに対応するデシリアライザは、複数の構成で利用できます。1つ、2つ、または4つの入力リンクをサポートする点が特徴です。このことから、センサーによって高い柔軟性でアグリゲーション（データの収集）を実行するためのアーキテクチャを実現できます。例えば、複数のカメラまたはセンサー・モジュールをスイッチングしたり外部で多重化したりすることなく、単一の処理ユニットに接続できます。このことは、複数のカメラを使用するロボットでは大きなメリットになります。

GMSLに対応するSERDES（Serializer/Deserializer）は、複数の入力を備えることに加え、システム全体でデータをインテリジェントに管理／ルーティングするための高度な機能もサポートしています。以下、具体的な例をいくつか挙げます。

• I²CおよびGPIO（General-Purpose Input/Output）によるブロードキャスト：センサーを同時に構成したり、フレーム同期を実現したりすることが可能になります。 
• I ²Cのアドレスのエイリアス機能：パススルー・モードにおいてI²Cのアドレスが競合するのを回避できます。 
• 仮想チャンネルの再割り当て：SoC（System on Chip）内のフレーム・バッファに対して複数のビデオ・ストリームをスムーズにマッピングすることが可能です。 
• ビデオ・ストリームの複製と仮想チャンネルのフィルタリング：選択したビデオ・データを複数のSoCに対して配信できます。例えば、同じカメラの映像に対するオートメーション・パイプラインとインタラクション・パイプラインの両方をサポートすることが可能です。また、機能安全を強化するための冗長な処理用パスもサポートできます。

安全性と信頼性

GMSLは、元々は自動車のADAS（Advanced Driver-Assistance System：先進運転支援システム）アプリケーション向けに開発された技術です。つまり、安全性、信頼性、堅牢性の面で妥協が許されない環境に対応できることが実証されています。ロボットでGMSLを利用する場合にも、車載用途で得られるのと同じような高い水準のメリットを享受できます。このことは、特に人の近くで稼働したり、ミッション・クリティカルな分野の作業を担ったりするロボットにとって非常に有用です。

GMSLに対応するシリアライザ／デシリアライザのほとんどは、-40℃～105℃の動作温度範囲に対応します。これは、環境の変化に応じてトランシーバーの設定を継続的に監視／調整する適用型イコライゼーションの機能を内蔵することで実現されています。動作温度範囲が広いことから、極端な温度条件や変動する温度条件の下でも高い信頼性で機能するロボットを柔軟に設計することができます。

また、GMSLに対応するほとんどのデバイスはASIL-Bに準拠しています。加えて、BERが極めて低く抑えられています。GMSL2の場合、リンクが規格に準拠した状態にあれば10^-15（代表値）のBERが実現されます。一方、GMSL3では前方誤り訂正（FEC：Forward Error Correction）の機能が必須になっています。そのため、10^-30という優れたBERを達成可能です。データが卓越した完全性を備えており、優れた認証機能を利用できることから、機能安全に向けたシステム・レベルの設計が大幅に簡素化されます。

GMSLの堅牢性は、最終的にダウンタイムの短縮、メンテナンスにかかるコストの削減、システムの長期信頼性の向上につながります。これらは、産業用ロボット、サービス用ロボットのどちらにとっても重要な長所になります。

成熟したエコシステム

GMSLを採用する場合、既に成熟し、すぐに導入が可能なエコシステムを活用できます。そのエコシステムは、長年にわたり車載システムで大量に使用されてきた製品群を中心として形成されたものです。それを支えているのは、グローバルなパートナーから成る広範なネットワークです。そのエコシステムには、評価用のカメラや量産が可能なカメラ、コンピューティング・ボード、ケーブル、コネクタ、ソフトウェア／ドライバのサポートなど、包括的なポートフォリオが含まれています。それらはすべて厳しい現実の環境においてテスト／検証済みです。このエコシステムを活用すれば、開発期間の短縮、統合作業の簡素化、プロトタイプから量産に移行する際の障壁の低減を図れます。

GMSLと従来の接続技術の比較

GMSLの利用は、自動車だけにとどまらず様々な分野に拡大しています。実際、高性能のロボットについてはGMSLによって新たな可能性が開かれたと言えます。カメラの数の増加、より高い解像度、厳格な同期の実現、より過酷な環境への対応など、ロボット・ビジョンに対する要求はより厳しくなりました。その結果、USBやイーサネットといった従来のインターフェースでは対応できないケースが増えました。USBやイーサネットは、帯域幅、遅延、統合の複雑さなどの面で不十分だったのです。その結果、GMSLはそれらの上位に位置する選択肢として注目されました。GMSLを採用すれば、堅牢性が高くスケーラブルで、すぐに量産対応が可能なソリューションを利用できます。そのため、多くの先進的なロボットのプラットフォームでは、USBやイーサネットからGMSLへの置き換えが徐々に進んでいます。表1は、ロボット・ビジョンの設計に関連する重要な指標に基づき、3つの技術を比較したものです。

まとめ

ロボットは、より多様な用途に適用されるようになりました。その結果、非常に過酷な環境で使用されるケースが増えています。それに対応し、ロボット・ビジョンにも進化が求められています。具体的には、より多くの数のセンサー、より広い帯域幅、確定的な性能をサポートすることが必要です。従来の接続ソリューションは、開発の用途や特定の導入シナリオでは依然として重要です。しかし、それらの技術には遅延、同期、システム統合の面でトレードオフがあり、拡張性が制限されます。それに対し、GMSLは高いデータ・レート、長いケーブル、給電方法の統合、双方向で小さな確定的遅延に対応しています。そのため、スケーラブルなロボット・ビジョンを構築するための実績のある基盤になります。また、GMSLを採用することで、プロトタイプから量産への移行を迅速に進められます。現実のアプリケーションが直面する多くの課題に対処できるため、よりスマートで信頼性の高いロボットを実現することが可能になります。

著者について