視覚誘導ロボティクス
パートI
デジタル化の背後にある推進力は、精度、品質の向上、および信頼性に対する需要の高まりです。市場のダイナミクスにより、製造業界は、変化する消費者の感情に合わせて新製品、変更された設計、カスタマイズ、およびより迅速な納品を導入することを余儀なくされています。ロボットは何十年もの間製造業の友であり、「マシンビジョン」自体もそうです。
ロボット工学とマシンビジョンは、独立して安定性と技術的成熟に達しています。最近の開発は、プロセスをより効率的にするという点で互いに補完し合っています。この記事では、ビジョンガイドロボティクス（VGR）に関するいくつかの洞察を明らかにします。 製造部門で。 VGRは、移動ロボット、ヒューマノイド、デカルト、スカラロボットなどの他のロボットタイプにも同様に関連しますが、多関節ロボットのアプリケーションと課題に焦点を当てます。 。
コアトピックに深く入る前に、マシンビジョンと産業用ロボットのいくつかの重要な概念を理解することが重要です。
マシンビジョン 人間の見ることの霧化として定義することができます。画像（目の機能）をキャプチャするだけでなく、これらの画像を処理して結果（脳の機能）を生成する必要があります。マシンビジョンシステムは、画像を取得するために特殊な光学系を備えた産業用カメラ内で保護されたデジタルセンサーに依存しているため、コンピューターのハードウェアとソフトウェアは、意思決定のためにさまざまな特性を処理、分析、測定できます。
一般的なマシンビジョンアプリケーションは、大きく4つのタイプに分類できます。
- ガイダンス
- 識別
- 測定
- 検査
識別、測定、検査システムなどのタスクには、ロボットがアプリケーションに付加価値を与えるという独自の目的がありますが、この記事ではロボットガイダンスに焦点を当てています。 。マシンビジョン（MV）システムは、パーツを特定し、特定のアセンブリに正しく配置されていることを確認できます。 MVシステムは、2Dまたは3D空間でのコンポーネントの位置を特定し、ロボットがこのコンポーネントの座標を正確に追跡するのにも役立ちます。 MVシステムは、この目的に必要な器具の複雑さを軽減します。これを理解するには、まずロボットがコンポーネントを見つけるために自分自身をどのように配置するかを調べる必要があります。
ロボット座標系は、さまざまな参照フレームで構成されています。ロボットの動きを説明するために使用される主な座標系を以下の図1.1に示します。 。グリッパーまたはツールの制御が最も重要であり、その位置は、1つまたはすべてのロボット軸の協調動作によって実現されます。グリッパーや工具の種類によって寸法が異なるため、工具の種類に関係なく、工具中心点（TCP）と呼ばれる特別な点が選択されます。この点は、工具座標系の原点です。同様のポイントを使用して、グリッパーまたは手首の座標系を説明できます。ツール、手首、およびその他の座標系の相互接続を図1.2に示します。 。
図1.1
図1.2
画像：ABB Robotics
TCPは、手首座標、ベース座標、ワールド座標、およびオブジェクト座標系と関係があります。理想的には、オブジェクトの座標が正確に一致することが期待されます。 TCPの設定された座標を使用します。つまり、オブジェクトの原点がプログラミングを介してロボットに教えられ、TCP座標が記録されます。したがって、繰り返しの精度を実現するには、ロボットとオブジェクトが毎回同じ位置に来る必要があります。
ロボットの位置決めはサーボ機構によって制御されるため、かなり正確です。固定位置コンポーネントの場合、それらの位置決め精度は、機械加工公差、位置決めフィクスチャ公差、インデクサテーブルの位置決め精度と再現性などの多くの要因に依存します。そのため、ロボットのTCPは、目的の座標と実際の座標との間のオフセットにより、オブジェクトの実際の座標と一致しない場合があり、測位エラーが発生します。オブジェクトがコンベヤー上にランダムに配置されている間にロボットがオブジェクトを拾ったり、何らかの操作を実行したりすることが予想される場合、その原点を特定することはほぼ不可能になります それを導くマシンビジョンのようなシステムがない場合。
マシンビジョンシステムが展開されている場合、オブジェクトのリアルタイム座標を識別してロボットにフィードし、ロボットがオフセットをTCPに補正します。したがって、工具の位置決め精度が保証されます。この方法は主に、溶接や接着剤の塗布、固定具のコンポーネント、移動するコンベヤー上でランダムに分散されたオブジェクトのロボットによる「ピックアンドプレース」などのアプリケーションに使用されます。上記の例は、2D平面に沿って位置が不正確なオブジェクトに適しているため、2Dマシンビジョンシステム 使用されます。
2Dビジョンガイダンスを使用したオブジェクトの高速ロボット「ピックアンドプレース」。画像：コグネックスコーポレーション
ロボットがビンにランダムに保持されているオブジェクトをピックアップすることが期待されるロボットのビンピッキングなどのアプリケーションでは、3D空間分析が必要になります。ここでは、X、Y、Z座標が重要であるだけでなく、3つの軸すべてに沿った向きの角度は、ロボットが衝突することなく最も簡単に選択できるオブジェクトを識別するために重要です。 3Dマシンビジョンシステムは明らかです この設定でデプロイされます。
最も人気のある3Dマシンビジョンシステムは、座標と高さマップを提供する2台のカメラを備えたステレオビジョンを使用したセットアップです。ここでの重要なタスクは、カメラのキャリブレーションと、両方のカメラからの画像を組み合わせて3D画像を構築するマシンビジョンアルゴリズムです。ビンの画像を分析して、最も簡単に選択できるコンポーネントのTCP座標を導き出します。他のいくつかの3D技術は、レーザー三角測量と飛行時間です。
3Dビジョンガイダンスを使用したロボットビンピッキング。画像：安川ロボティクス
パートII
画像の取得
高品質の画像はVGRを成功させるための鍵です。ここでの3つの主要なコンポーネントは、カメラ、光学系、照明です。
カメラ： ロボットアプリケーション用のカメラを選択する際に考慮すべき重要なことがいくつかあります。市場に出回っている商用カメラは画像を取得しますが、これらのシステムが展開されている産業環境は非常に困難な場合があります。ここでは、カメラは過酷な環境にさらされています そして、数十万サイクルの間、毎回一貫した高品質の画像を提供することが期待されています。それに加えて、ロボットの動きや機器全体の振動によって発生する衝撃や振動もあります。
通信インターフェースは堅牢で、操作中に通信が中断されないように、これらの厳しい条件に耐える必要があります。イーサネットベースのプロトコルは、このアプリケーションに必要な優れた信頼性と長いケーブル長を提供します。侵入保護への準拠は、特にシステムがほこりの多い環境に配置されている場合に重要になります。PoEは、複数のケーブルを避けるための好ましい電源です。カメラケーブルは、ロボットアームのケーブルトレイとハーネスを介して周期的に曲げられるため、ドラッグチェーン準拠のケーブルを使用する必要があります。
画像：Baumer
画像：Pickit 3D
カメラの解像度は、全体的な視野（FOV）と必要な測位精度を考慮して計算する必要があります。
光学系： FOV、作動距離（WD）、およびカメラセンサーのサイズに応じて適切な光学系を選択する必要があります。考慮すべき2つの最も重要な要素は次のとおりです。
- バレルの歪みを可能な限り最小限に抑える必要があります。
- カメラと同じ量の衝撃や振動にさらされるため、レンズの堅牢性。アドレスを指定しないと、アイリスやフォーカスなどの重要なレンズ設定に影響を与える可能性があります。 >
イルミネーション： オブジェクトの照明は、VGRで重要な役割を果たします。照明は、コンポーネントで検査する機能を強調するようなものにする必要があります。プログラムされるコンポーネントまたは輪郭は、システムの望ましい精度の範囲内で正確に識別される必要があります。したがって、オブジェクトと輪郭に基づいて、適切な照明を選択する必要があります。コンポーネントピッキングまたは溶接/接着剤ディスペンシングタイプのアプリケーションでは、ほとんどの場合、単純な拡散バーライトが必要ですが、ステレオカメラを使用するロボットビンピッキングアプリケーションでは、コンポーネントに投影された構造化パターンライトを使用して、輪郭を収集し、プロファイルを導き出します。
3Dビンピッキングで使用される構造化照明。画像：Solomon 3D
マシンビジョンを使用したロボット工学の課題
標準の2Dロボットマシンビジョンアプリケーションでは、対処する必要のあるいくつかの課題があります。
- 歪み
- 座標キャリブレーション
- Zキャリブレーション
- 座標の配置
歪み： 発生する歪みには主に2つのタイプがあり、ビジョンシステムでVGRの準備が整う前に修正する必要があります。
- レンズの歪み： レンズ（特に広角レンズ）は、取得した画像に歪みを引き起こします。これは「バレル歪み」として知られています。
バレルの歪み。画像：Baumer
- カメラの傾斜取り付けによる歪み
ロボットは動作するためにクリアランスが必要なため、カメラを傾斜した位置に取り付ける必要があることがよくあります。これにより、取得した画像に歪みが生じます。
取得した座標が正確になるように、これらのタイプの歪みは両方とも補正とキャリブレーションが必要です。
座標キャリブレーション： ロボットはミリメートルやインチなどの単位で定義された座標系で動作しますが、カメラはピクセル数で動作します。したがって、システムがピクセルと座標系の単位との相関関係を理解できるように、カメラを調整する必要があります。
画像：Baumer
測定は毎回同じ作動距離（カメラと物体の間の距離）で行われることが重要です。ロボットは3Dで動作するため、「グリップ」には「Z」仕様も必要です。 。
Zキャリブレーション： Zキャリブレーションは、Z軸がレンズの被写界深度*内で変化する場合にX座標とY座標を計算するために使用されます。カメラは、キャリブレーションプレートを使用した特定の手順を使用してキャリブレーションされます（後で説明します）。
座標の配置： ロボットと視覚システムには独自の座標系があります。それらの逸脱は次のとおりです。
この問題を解決するために、キャリブレーションが実行されます。ロボットは自身の位置とTCPの位置を認識しますが、ビジョンシステムはキャリブレーションプレート上でキャリブレーションされます。ロボットはオフセットを計算します。 、および位置合わせが実行されます。
これは非常に重要なステップです。ロボットは、ビジョンシステムによって定義された原点から始まるパスをたどる必要があります。正しく実行されない場合、不適切なキャリブレーションは重大なパスの逸脱を引き起こし、結果として生じる可能性があります。衝突中。
キャリブレーションプレート： ビジョンシステムのキャリブレーションは、正確な寸法のマーキングが付いた標準のキャリブレーションプレートを使用して実行されます。 図2.1 キャリブレーションプレートの例をいくつか示します。
図2.1
キャリブレーションプレートを使用したレンズと取り付け歪みの修正： 図2.2に示すように、キャリブレーションプレートをカメラの下の特定の距離に配置し、画像を取得します。 。
図2.2：カメラのポジショニング
画像：Baumer
歪みキャリブレーションが実行されると、画像は整列しているように見えます。これを以下の図2.3に示します。 。
図2.3
キャリブレーションプレートを使用してキャリブレーションを調整します： キャリブレーションプレートのグリッド線またはマーキングは、カメラでカバーされるピクセル数に関連しています。位置ポインターをキャリブレーションプレートに正確に配置することが重要です。
ポインタはプレートのポイント/コーナーに配置されます。これらのポイント間の距離は既知であり、ソフトウェアのキャリブレーションパラメータ化フィールドに入力されます。次に、ビジョンシステムは、その距離を測定するために消費されたピクセル数を計算します。この設定は、作動距離、FOV、およびカメラの取り付けが維持されている限り有効です。 3つのうちのいずれかが変更された場合は、システムを再調整する必要があります。
トレンドと進歩
VGRは新しいテクノロジーではありません。それはすでに開発され、かなり成熟したアプリケーションになっています。現在、ほぼすべてのロボットメーカーがVGRの統合ソリューションを提供しています。ただし、カメラテクノロジー（高速カメラ、3D飛行時間型カメラ、統合ステレオカメラなど）とソフトウェアテクノロジー（人工知能や機械学習など）の最新の進歩により、信頼性がさらに向上しています。と堅牢性 アプリケーション全体に。
ディープニューラルネットワークは、すべての平面に沿ったコンポーネントの配置と方向のさまざまな可能性を教え、再教育するために展開されます。学習する可能性のある多くの可能性により、ネットワークのトレーニング時間が長くなる可能性がありますが、最新のコンピューティングデバイス（GPUなど）を使用すると、タスクにかかる時間が短縮されます。機械学習用のクラウドベースのプラットフォームも現在展開されています。
結論
VGRは急速な人気を獲得しています 業界のすべてのドメインにわたって。かつては主に自動車セグメントによって推進されていたアプリケーションは、現在、高速ロボットのピックアンドプレース、パレタイズとデパレタイズ、溶接ロボットのシームトラッキングのための重工業、接着剤ディスペンスなどの食品や医薬品などの他のテイカーを見つけています。 標準を設定する必要があります ビジョンシステムメーカーとロボットビルダー間の相互互換性を確保するため。世界が製造業の「ニューノーマル」に目を向けているため、VGRは間違いなく重要な役割を果たしています。
産業技術