超音波 + IMUセンサーフュージョンを用いた、屋内自律ドローン・ロボット向けの高速・低レイテンシIPS / RTLS
概要
- 80 Hzの位置更新レート （今後のソフトウェアリリースにより、同じハードウェアでさらに高くなる可能性があります）
- 12-20 msのレイテンシ：移動体の動きの種類と設定によって異なります
- 3Dトラッキング。もちろん、1Dおよび2Dトラッキングにも対応しています 🙂
- 特に自律ドローンやその他のノイズの多い物体に適しています
- この記事ではNIAとMF NIAを中心に扱います。IA向けの超音波 + IMUセンサーフュージョンは数か月前にリリースされています
- 方向（向き）は1個のビーコンだけで取得できます。位置 + 方向のためのPaired Beacons構成にも引き続き対応しています
- 一時的な非見通し環境でのトラッキングのロバスト性が大幅に向上しました
- 3Dでの可視化を容易にする新しいMarvelmind Dashboard 3Dがパックに含まれています（現時点ではプレーヤー専用モードです）
- この機能は、MMSW0021: Realtime Ultrasound + IMU sensor fusionライセンス（IAとNIAの両方）によって有効になります
- 完全に商用利用が可能です。今すぐダウンロードしてお使いください
最小構成
IMUセンサーフュージョンを備えたNIA屋内測位システムは、いくつかの主要な要素で構成されます。
- モバイルビーコン：ドローンなど、移動体に取り付けます
- 固定ビーコン：カバレッジを確保するために周囲に配置します。イメージは上の動画をご覧ください。推奨事項はPlacement Manual（配置マニュアル）でご確認ください
- モデム：すべてのデバイスを制御します。NIAでは、モデムはもう位置を計算しません。今後は、モバイルビーコンが位置を計算します。これは今回からの新しい点です
- RHU：高速なIMUデータをモデム側で受信するためのものです。さらに、数層のポストプロセッシングを行い、トラッキングのロバスト性と品質をいっそう高めます。比較的新しい存在ですが、スプリットモデム・アーキテクチャ（Split-Modem Architecture）の中核要素であり、モデム側で低レイテンシのIMUセンサーフュージョンデータを得たい場合には、このアーキテクチャが主流になりつつあります。データをモバイルビーコン側で利用する場合は、RHUは不要です
以上より、高速・低レイテンシのトラッキングを実現するための推奨最小構成は次のとおりです。
- Starter Set Super-MP-3D
- Modem HW v5.1：RHU用です。モデムと同じハードウェアですが、パックに含まれる別のソフトウェアを使用します
- 固定ビーコン用のMagnetic holder × 4
- MMSW0021: Realtime Ultrasound + IMU sensor fusion × 1
名称に「-4」以降が付く新しいビーコンのみサポート
現在サポートされているモバイルビーコンは次のとおりです。
- Super-Beacons-4
- Industrial Super-Beacons-4
- Industrial-RX-4 with Omni
- Industrial-RX-4 with Horn
現在ハードウェアを購入される場合は、販売代理店に-4バージョンの確認と出荷を依頼できます。当社の倉庫には-4のみが残っています。ただし、市場では-1、-2、-3バージョンも多数使われています。
これらおよびその他のモバイルビーコンの新しいハードウェアバージョンは、MMSW0021: Realtime Ultrasound + IMU sensor fusionをサポートする見込みです。
誤解を避けるために：
- Super-Beacons、Super-Beacons-2、Super-Beacons-3、Industrial Super-Beacons-2および-3、Industrial-RX-2および-3、ならびにその他の旧世代デバイスは、モバイルデバイスとしてはMMSW0021: Realtime Ultrasound + IMU sensor fusionをサポートしていません
- ただし、固定ビーコンについては制限がなく、IAで固定ビーコンとして動作できるものであれば、固定ビーコンとして問題なく使用できます。たとえば、Industrial-RXはトランスデューサーを一切持たず超音波を発信できないため、IAでは固定ビーコンとして動作できません。これはこの機能とは無関係ですが、アーキテクチャの要件に関する基本事項を忘れてはなりません。非常に旧世代のBeacons HW v4.9でも固定ビーコンとして使用できます
センサーフュージョンはロボティクスの「聖杯」
センサーフュージョンにより、両方の長所を引き出せます。
- 超音波は高精度な測位が可能で位置ドリフトもありませんが、短時間の遮蔽やノイズでも位置が跳ぶことがあります
- IMUは非常に高い角度分解能を持ち、位置の跳びもありませんが、ドリフトします
両者を適切に融合することは技術的に非常に難しく、移動体についての一定の仮定も必要ですが、超音波のみ、あるいはIMUのみのシステムでは得られない結果、すなわち非常に高い位置更新レート、低レイテンシ、遮蔽に対する高いロバスト性、より高い精度が得られます。まさに、文字どおり両者の良いとこ取りです。
センサーフュージョンは技術のツリーであり、すべてに対応する単一のソリューションではありません
前回の記事で説明したとおり、IMUセンサーフュージョンにはいくつかの系統があります。要点は次のとおりです。
- NIA向けIMUセンサーフュージョン：ドローンのようなノイズの多い物体に最適
- IA向けIMUセンサーフュージョン：モバイルビーコンが超音波を受信する構成、すなわち人のトラッキングや、群（スウォーム）で動くドローン/ロボットに適する
- IMUセンサーフュージョンのポストプロセッシング：すでにデータ全体を把握できるため、総合的に最良のトラッキングが必要で、レイテンシが重要でない場合（たとえば、スポーツやトラック解析）に最適
- 方向用IMUセンサーフュージョン：Paired Beacons構成
- 外挿（Extrapolation）：技術的にはセンサーフュージョンではありませんが、経路が予測可能な場合の最適解です
低レイテンシ、高速、高いロバスト性、1個のビーコンによる方向取得、その他のメリット
IA向けIMUセンサーフュージョンに関する記事では、IMUセンサーフュージョンがもたらす位置データの低レイテンシと、その測定方法に特に重点を置きました。そのため、同記事には、機械的な衝撃からIMUの積分、位置の処理・計算に至るまでのレイテンシをどのように測定したかを示す、複数の衝撃グラフと説明が掲載されています。
NIA向けの新しいIMUセンサーフュージョンソフトウェアと、IA向け・NIA向けのIMUセンサーフュージョンをメジャーソフトウェアリリースで統合する今後の開発では、位置データの低レイテンシよりも、IMUセンサーフュージョン方式の総合的な優位性をより強調します。
- 高い更新レート：80 Hz、将来的にはそれ以上。実際の産業用途の大半には十分です
- 低レイテンシ：12-20 ms。実際に測定するのは難しく、設定、マップ、物体の動きの履歴に依存します。つまり、適応的です。ただし重要なのは、これも実際の用途の大半には十分だという点です。結局のところ、私たちは産業オートメーションのビジネスに携わっています
- 精度の向上、特に静止時
- 短時間の遮蔽、音響ノイズ、その他の悪条件に対するロバスト性の大幅な向上と、レイヤードアプローチによるトラッキング品質の向上
- 現在は、1個のモバイルビーコンで方向/姿勢が得られます。これはダイナミックな方式です。任意の方向に約50 cm移動する必要があります。システムは位置を決定して高精度に測定し、システムの電源を切るまで、静止時でもそれを維持します
まとめると、IMUセンサーフュージョンは、ロボティクス全般、そしてその一分野である屋内測位において、まさに「聖杯」であり、多くのメリットをもたらします。
精度の向上
IMUセンサーフュージョンは、より多くのデータを組み合わせ、一部の位置の跳びを排除することで精度を高めます。
IMUセンサーフュージョンは、特に静止状態での精度に大きく貢献します。一方、動的な状態では、誤差の振れ幅が大きくなる場合もありますが、結果はセットアップ、条件、動きの種類に完全に依存します。対象物についての知識が増えるほど、設定を最適化して性能をさらに高められます。
1個のモバイルビーコンで方向も取得可能に
以前は、方向を知るためにPaired Beacons構成が必要でした。
現在は、1個のモバイルビーコンでの飛行を推奨しています。Paired Beaconsは引き続きオプションとして利用できます。
1個のモバイルビーコン：
- 軽量な構成：2個目のビーコン、フレーム、ベース距離、モバイルビーコン間の2本のワイヤーが不要です
- 方向を特定してロックするために、任意の方向に約50 cmの移動が必要です
- システムの電源を切るまで、静止時でも方向を保持します
- DJI Miniやそれより小型のドローンでは、実質的に唯一の選択肢です
Paired Beacons：
- 方向を特定するために先に飛行する必要がなく、静止時でも方向が得られます
- ビーコンの重量が問題にならず、ベース距離を十分に確保できる大型のドローンに特に適しています
トラッキングのロバスト性と品質の向上
トラッキングにはレイヤードアプローチを採用しています。
- 超音波トラッキング：従来からの方式で、Dashboard 2Dの青い点として確認できます
- 超音波とIMUのデータに基づいて、センサーフュージョンデータを生成します。これだけでも、低レイテンシと高い更新レートのメリットがすべて得られます。このデータはヘッジホッグ（モバイルビーコン）側では利用できますが、モデム側ではまだ利用できません。そのため、完全自律型のPixHawkドローンはこれを利用できますが、ドローンの外部に頭脳を持つDJIドローンは利用できません
- 比較的低速（約8 Hz）のデータは、従来どおりモデムにストリーミングされます。一方、高速（80 Hz）のIMUフュージョンデータはRHUにストリーミングされます。動画に映っている、非常に速く動く青い尾（テール）の点が、IMUフュージョンデータです
- RHUはデータを受信するだけでなく、IMUレイヤーと、さらに多くのデータを用いた超音波レイヤーの両方で、そのデータを徹底的に処理します。処理レイヤーは複数あります。最終レイヤーは「ゴールデン」レイヤーで、すべてのレイヤーの中から、最も信頼度の高い最良の情報を選び出します。これにより、ユーザーは、12-20 msのレイテンシをもつ非常に高速なIMUデータと、約200-300 ms遅れて届く、さらに検証されたゴールデンデータの両方を取得できます。その結果、トラッキングのロバスト性が顕著に向上します。条件があまり良くない場合や、部分的または一時的な遮蔽がある場合でも、トラッキングがどれほどクリーンで一貫しているかを、目で見て簡単に確認できます。
ユーザー機器への接続と、余分なレイテンシを避ける方法
MMSW0021: Realtime Ultrasound + IMU sensor fusion機能の最大の売りの一つは位置データの低レイテンシであるため、位置データの取得方法を正しく理解し、インターフェースやオペレーティングシステムによる余分なレイテンシを持ち込まないことが極めて重要です。
新バージョンでは、次の方法がサポートされています。
- モバイルビーコン（ヘッジまたはヘッジホッグとも呼ばれます）からの通常のUART：Super-Beaconの4×4ピン、またはIndustrialビーコンの7ピンデータコネクタ内のピンを使用する方法で、目立った余分なレイテンシなしに低レイテンシの位置データを取得できる最良かつ最も簡単な方法です
- ヘッジからUSB経由：追加レイテンシは約1 ms + USBドライバのレイテンシ（OS依存）。最大の懸念は、OSのレイテンシとそのジッターが予測できないことです。余分なレイテンシの見積もりは難しく、気にならない程度から大きなものまで様々です。OSの制御できない遅延によるレイテンシジッターの可能性も、もう一つの懸念事項です。ただし実際には、これらの懸念は誇張されている場合もあり、その場合はUSBを使うため、UART配線（上記参照）よりもさらに簡単な接続方法になります
- RHUのUSB/UART経由：実質的にスプリットモデム・アーキテクチャ（Split Modem Architecture）を採用しています。これは、モデム側（モバイルビーコン側ではなく）で低レイテンシのデータを取得する最良の方法です。たとえば、高い位置更新レートと低レイテンシで何かをトラッキングしたい場合や、DJIドローンを飛行させる場合に適しています。そのシステムでは「頭脳」が外部にあり、ドローン側にはないためです
実用上の推奨というより、理論上は可能な、位置データを取り出すその他の方法があります。
- ヘッジをUSB接続したDashboardからUDP経由（追加レイテンシは約1 ms + USBドライバのレイテンシ + UDP転送のレイテンシ（ネットワークに応じて通常3…50 ms））
- マスターヘッジをUSB接続したDashboardからREST、またはMQTT経由（追加レイテンシは約1 ms + USBドライバのレイテンシ + REST/MQTT転送のレイテンシ）。この場合も、余分なレイテンシの総量を見積もるのは困難ですが、サポートされています
- 特殊ファームウェアを搭載したModem HW v 5.1をスプリットモデム・アーキテクチャで使用し、DashboardからUDP/REST/MQTT/ログ経由（追加レイテンシは、ヘッジをDashboardに接続する場合と同じ + 500 kbpsの無線で約1 ms）
- マスターヘッジをUSB接続したDashboardのログファイル経由（ポストプロセッシング用 – レイテンシは該当なし）
精度が高く、高速で、低レイテンシな屋内トラッキングのために進化し続けるセンサーフュージョン
NIAとIMUセンサーフュージョンはすでに完全に利用可能で、今日から注文、ダウンロードしてお使いいただけます。
ただし、その進化は止まりません。より多くのデータを融合し、それらを巧みに組み合わせ、さらに高速で、さらに低レイテンシで、さらにロバストなトラッキングを提供するというアプローチは、常に勝ち続けるアプローチです。