高精度な屋内測位システム向けの、低レイテンシ・リアルタイムIMUセンサーフュージョン
概要
リアルタイムの低レイテンシIMUセンサーフュージョンにより、次のことが可能です。
- 最大500 Hzの位置更新レート
- 5-25 msのレイテンシ:移動体の動きの種類と設定によって異なります
- 3Dトラッキング。もちろん、1Dおよび2Dトラッキングにも対応しています 🙂
- 現在サポートされているのはIAのみです。NIAおよびMF NIAのサポートも予定されています
- 位置 + 方向にはPaired Beacons構成が必須で、モバイルビーコン間の2線接続が必要です
- この機能は、MMSW0021: Realtime Ultrasound + IMU sensor fusionライセンスによって有効になります
実践的なヒントとアドバイス
必要なIMUセンサーフュージョンの種類を見極める
まず、IMUセンサーフュージョンのいくつかの種類から選択します。必要なのはIMUセンサーフュージョンそのものではない、ということを忘れないでください。必要なのは、それがもたらす結果、すなわち、より高い位置更新レート、より低いレイテンシ、短時間の遮蔽に対するより高いロバスト性、より高い精度です。IMUセンサーフュージョンはそれを実現する方法の一つですが、唯一の方法ではありません。
- MMSW0009: Ultrasound + IMU sensor fusion (post-processing)と高速屋内測位システム:IMUと超音波センサーのフュージョン:ポストプロセッシングで十分であれば、それを使用してください。ポストプロセッシングでは、IMUセンサーフュージョンがより多くのデータを持ち、フュージョンについてより良い判断ができるため、精度とロバスト性の面でMMSW0021: Realtime Ultrasound + IMU sensor fusionより常に優れています。Paired Beacons構成の有無にかかわらず動作します
- MMSW0017: High update rate extrapolation:ゴーカートやスピードスケート選手など、動きが比較的予測しやすい移動体がある場合に使用します。もちろん、クラッシュの際には動きがもはや予測できなくなり、アルゴリズムは苦戦します。しかし、ほとんどの時間は、実質的にゼロ、あるいはマイナスのレイテンシ(外挿/予測)で、非常に良好なトラッキングが得られます。Paired Beacons構成の有無にかかわらず動作します
- MMSW0021: Realtime Ultrasound + IMU sensor fusion:このタイプの最大のメリットは位置データの低レイテンシです。一般的な意味でのIMUセンサーフュージョンとして、すべてのIMUセンサーフュージョンアルゴリズムの中で最も典型的な系統です。現在、モバイルビーコン(ヘッジ)にはPaired Beacons構成が必要で、IAでのみ動作します
- 方向用のIMUセンサーフュージョン。これは本物のIMUセンサーフュージョンですが、位置ではなく、角度データのみを対象とします。Paired Beacons構成が必須です。ジャイロスコープによって決まる非常に高い角度分解能が得られ、センサーフュージョンによってPaired Beacons構成で常に補正されるため、ジャイロスコープのドリフトもありません。モバイルビーコンのPaired Beacons構成は必須です。Marvelmindプロトコルで利用する場合、オプションライセンスは不要です。NMEAの場合:MMSW0002: Heading packet GPHDT for NMEA0183。uBloxの場合:MMSW0003: UBX (u-blox) protocol for PX4
- IMUセンサーフュージョンがそもそも不要な場合もあります。適切な設定だけで、十分に高い更新レートと十分に低いレイテンシが得られることがあります。
名称に「-4」以降が付く新しいビーコンのみサポート
現在サポートされているモバイルビーコンは次のとおりです。
- Super-Beacons-4
- Industrial Super-Beacons-4
- Industrial-RX-4 with Omni
- Industrial-RX-4 with Horn
これらおよびその他のモバイルビーコンの新しいハードウェアバージョンは、MMSW0021: Realtime Ultrasound + IMU sensor fusionをサポートする見込みです。
誤解を避けるために:
- Super-Beacons、Super-Beacons-2、Super-Beacons-3、Industrial Super-Beacons-2および-3、Industrial-RX-2および-3、ならびにその他の旧世代デバイスは、モバイルデバイスとしてはMMSW0021: Realtime Ultrasound + IMU sensor fusionをサポートしていません
- ただし、固定ビーコンについては制限がなく、IAで固定ビーコンとして動作できるものであれば、固定ビーコンとして問題なく使用できます。たとえば、Industrial-RXはトランスデューサーを一切持たず超音波を発信できないため、IAでは固定ビーコンとして動作できません。これはこの機能とは無関係ですが、アーキテクチャの要件に関する基本事項を忘れてはなりません。非常に旧世代のBeacons HW v4.9でも固定ビーコンとして使用できます
Paired Beacons構成が必須
現在、MMSW0021: Realtime Ultrasound + IMU sensor fusion機能は、モバイルビーコンのPaired Beacons構成でのみ動作します。なぜでしょうか。静止状態で、単一のモバイルビーコンの方向(ヨー軸)を十分な精度で決定する現実的な方法がないためです。
確かに、移動体がすでに動いているときにヨー方向を特定してロックし、ドリフトを追跡して補正することは可能です。Marvelmind DJIドローンソリューションでは、これに成功しています。
ただし、この方式では、システム座標に対する移動体の初期配置、または最初の0.5-1 mの移動(ヨー軸方向がロックされるまで)に追加の要件が生じます。場合によっては、これは制約が大きすぎます。場合によっては、2個のモバイルビーコンを持ち運ぶ必要がなくなる、優れた解決策になります。MMSW0021: Realtime Ultrasound + IMU sensor fusion機能のこのようなサブタイプも予定されています。一般に、得られるデータが少なくなるため、Paired Beacons構成による基本サブタイプよりも脆弱になる可能性があります。しかし、場合によっては強力な実現手段になります。ユーザーが、モバイルビーコン間に最低でも20-30 cmのベース距離を必要とするPaired Beacons構成のための十分なスペースを確保できないこともあるためです。
Paired Beacons:モバイルビーコン間に基本的な2本のワイヤーが必要
Paired Beacons構成では、モバイルビーコン同士を2本のワイヤーで接続する必要があります。
- スレーブビーコン(右側)のUART TXを、マスターSuper-Beaconsの外部4×4ピン(または他のビーコンの同等のピン)のUART RXピンに接続する必要があります
- 両方のビーコンのグラウンドも接続する必要があります
Paired Beacons構成の詳細は、Operating Manual(操作マニュアル)をご覧ください。
モバイルビーコンの相対的な配置は重要です
- ビーコンのマイクロフォン間(または中心間)のベース距離は、少なくとも20-30 cmを推奨します。これより短い距離でも動作する場合がありますが、ロバスト性は徐々に低下します
- マスタービーコンはペアの左側に置く必要があります
- Super-BeaconのUSBコネクタ、またはIndustrialビーコンの7ピンコネクタは、ペアの後方側に向ける必要があります。回転させることも可能ですが、その場合は設定を変更する必要があります
- 図の軸はSuper-Beaconsについて示しています。Industrial Super-Beaconについては示されていません(図は後日更新される可能性があります)。ただし、基板上のIMUチップの配置が異なるため、軸は異なる可能性が高いです
ユーザー機器への接続と、余分なレイテンシを避ける方法
MMSW0021: Realtime Ultrasound + IMU sensor fusion機能の最大の売りは位置データの低レイテンシであるため、位置データの取得方法を正しく理解し、インターフェースやオペレーティングシステムによる余分なレイテンシを持ち込まないことが極めて重要です。
- マスターのモバイルビーコン(ヘッジまたはヘッジホッグ)からの通常のUART:Super-Beaconの4×4ピン、またはIndustrialビーコンの7ピンデータコネクタ内のピンを使用する方法で、目立った余分なレイテンシなしに低レイテンシの位置データを取得できる最良かつ最も簡単な方法です
- マスターヘッジからUSB経由:追加レイテンシは約1 ms + USBドライバのレイテンシ(OS依存)。最大の懸念は、OSのレイテンシとそのジッターが予測できないことです。余分なレイテンシの見積もりは難しく、気にならない程度から大きなものまで様々です。OSの制御できない遅延によるレイテンシジッターの可能性も、もう一つの懸念事項です。ただし実際には、これらの懸念は誇張されている場合もあり、その場合はUSBを使うため、UART配線(上記参照)よりもさらに簡単な接続方法になります
- 特殊ファームウェアを搭載した追加のModem HW v 5.1のUSB/UART経由、スプリットモデム・アーキテクチャ(Split Modem Architecture)で使用(追加レイテンシ:500 kbpsの無線で約1 ms + UART/USBのレイテンシ(上記参照))。これは、モデム側(モバイルビーコン側ではなく)で低レイテンシのデータを取得する最良の方法で、高い位置更新レートと低レイテンシで何かをトラッキングしたい場合に適しています
- マスターヘッジをUSB接続したDashboardからUDP経由(追加レイテンシは約1 ms + USBドライバのレイテンシ + UDP転送のレイテンシ(ネットワークに応じて通常3…50 ms))
- マスターヘッジをUSB接続したDashboardからREST、またはMQTT経由(追加レイテンシは約1 ms + USBドライバのレイテンシ + REST/MQTT転送のレイテンシ)。この場合も、余分なレイテンシの総量を見積もるのは困難ですが、サポートされています
- 特殊ファームウェアを搭載したModem HW v 5.1をスプリットモデム・アーキテクチャで使用し、DashboardからUDP/REST/MQTT/ログ経由(追加レイテンシは、ヘッジをDashboardに接続する場合と同じ + 500 kbpsの無線で約1 ms)
- マスターヘッジをUSB接続したDashboardのログファイル経由(ポストプロセッシング用 – レイテンシは該当なし)
実用上の大きな制約ではありませんが、モバイルビーコンの加速度の現在の上限は16 gです。これは、何かに強くぶつかった場合を除き、現実の移動体が通常経験する加速度をはるかに上回っています。ただし、それほど強くぶつかった場合には、IMUセンサーフュージョンや、加速度超過によるトラッキングの突然の不完全さは、いずれにせよ最大の懸念事項ではないでしょう。それでも、この上限を念頭に置いてください。より高い加速度が要件に含まれる場合や、その他のご懸念がある場合は、遠慮なくinfo@marvelmind.comまでご連絡ください。
Dashboardの設定
MMSW0021: Realtime Ultrasound + IMU sensor fusion機能には、多くの設定が関連しています。この機能は上級ユーザー向けであることを忘れないでください。初心者の方は、最もシンプルな構成から段階的に進め、まず完璧なトラッキングを確認し、システムに慣れてからこの機能を使い始めてください:段階的アプローチと、その成功における重要性。
そもそもIMUセンサーフュージョンとは何か?...
高精度な屋内測位システムにおけるIMUセンサーフュージョンについて語る際に、覚えておくべき重要なポイントがいくつかあります。
- センサーフュージョンとは、定義上、複数のデータソースを使い、融合する各領域の長所を組み合わせようとすることを意味します。たとえば、IMU + 超音波屋内測位、IMU + 超音波IPS + オドメトリ、IMU + 超音波IPS + ビジュアル … など、融合し得るソースは数多くあります
- 私たちは、センサーフュージョンを「すべてを支配する単一のアルゴリズム」とは考えていません。これはセンサーフュージョンの複数の系統をもつソリューションのツリーであり、IMU + 超音波はその多くの選択肢の一つにすぎません。現在の実装もその系統の一つです。IMUセンサーフュージョンの系統/タイプは、今後さらに増えていきます。ユーザーは、トレードオフが常に存在するため、特定のシナリオに最適なものを選ぶために、それらを明確に区別する必要があります
IMU(3D加速度計 + 3Dジャイロスコープ)センサーフュージョンという場合、通常は、IMUデータと超音波屋内測位システムのデータを組み合わせ、両者の長所を取り出して融合することを意味します。
多くの場合、他のデータソースも含まれます。位置 + 方向のためのPaired Beacons、オドメトリ、そして何らかの形での移動体モデルの組み込みです。
なお、通常は磁力計とは融合しません。私たちは屋内ソリューションに注力しており、周囲の強磁性体による地磁気の強い歪みや、自ら磁場を発生して地磁気に干渉する大電流の存在により、屋内では磁力計がうまく機能しない場合があるためです。このような問題が常に存在するわけではありません。しかし、一般に磁力計に頼ることはできません。そのため、位置 + 方向にはPaired Beacons構成を使用しています:Boxie 2 – driving intro short。
とはいえ、磁力計を完全に排除しているわけではありません。GNSSが使えない環境でも地磁気が利用できる場合があり、そのような場合は磁力計を使用できます。この場合は、Super-Beacon-4またはIndustrial Super-Beacon-4に4×4拡張コネクタ経由で接続する外部基板を使用し、通常はI2CやSPI、あるいはその他の方法で接続します。Paired Beacons構成がお客様のケースに適さない場合は、ご要望ください。
何を追跡しているのか手がかりがない状態で、IMUセンサーだけで何かをトラッキングするのは困難です。対象物についての何らかの知識はほぼ不可欠です。「フォークリフトは飛ばない」、「フォークリフトのフォークは3Dで動き得る」、「レーシングドローンやハーフパイプのスキージャンパーには素早い3D機動が期待できるが、2Dで走行する配送ロボットにはありえない」などです。そのため、設定が多数あります。多すぎるかもしれません。深く掘り下げなくて済むよう、いくつかのプロファイルを用意しましたが、ご希望であれば、IMUセンサーフュージョンシステムをほぼ無限に制御できます。
目標は賢く、現実的に選ぶ
また、センサーフュージョンで具体的に何を達成したいのかを明確に理解することも非常に重要です。IMUセンサーフュージョンは非常に強力なソリューションです。それでもトレードオフがあり、すべてを同時に達成することはできません。精度、更新レート、レイテンシ、安定性、ロバスト性、柔軟性、複雑さ、価格など、おなじみの項目の中から選択する必要があります。
では、センサーフュージョンで具体的に何を達成したいですか?
- 高い更新レート?
- 低レイテンシ?
- 測位データの精度向上?
- 位置の跳びにつながり得る遮蔽やノイズ源への耐性向上?
これが、センサーフュージョンが万能のソリューションではなく、ソリューションのツリーである主な理由の一つであり、ツリーの各枝の中に、特定のニーズに焦点を当てた異なるプロファイルが存在する理由です。
低レイテンシと高い更新レート
短時間の遮蔽やノイズに対する高いロバスト性
センサーフュージョンの性質により、短時間の遮蔽やノイズによる位置の跳びに対するロバスト性が高まります。純粋な超音波ベースのトラッキングと、センサーフュージョン後のトラッキングを比較してご確認ください。
IMUセンサーフュージョンは完璧すぎる? 落とし穴はどこにある?...
低レイテンシIMUセンサーフュージョンは、確かに非常に強力な機能であり、非常に印象的な結果をもたらします。ただし、ユーザーは要件も明確に理解しておく必要があります。
- これは多数の設定を伴う複雑な機能です。そのため、経験のあるユーザー向けです。行き詰まった場合や不明な点がある場合は、いつでもinfo@marvelmind.comまでお問い合わせください。何も設定しなくて済むよう、設定をプロファイルにまとめました。機能を有効にする必要さえありません。ライセンスを購入するとすぐに自動的に有効になります。ただし、Advancedプロファイルには非常に多くの設定があり、お使いの特定のモバイルビーコンモデルに合わせて可能な限り細かくチューニングして、できるだけ良い結果を得ることができます
- Paired Beacons構成が必要です。他のタイプ(単一ビーコンで初期配置に追加の要件がある方式や、外部磁力計を使う方式)も可能であり、予定されています。現在の、そして推奨される方式が、それらすべての中で最もロバストです
- IMUセンサーフュージョンは多くを仮定し、推測(予測)します。リアルタイム方式の定義上、不完全で検証されていないデータで動作するためです。そのため、超音波トラッキングが不良な場合、IMUセンサーフュージョンはそれを修正できず、むしろ増幅してしまう可能性があります。短い跳びや短時間の遮蔽であれば、超音波トラッキングの跳びを実質的に吸収または無視することで、全体的なトラッキングが向上します
全体として、これらの注意点はあるものの、トラッキング仕様をレイテンシ、更新レート、ロバスト性、さらには精度という複数の側面から同時に大きく向上させる、非常に強力な機能です。
複数の(相反する)目標 = IMUセンサーフュージョンの複数の系統
高い位置更新レートは簡単です。低レイテンシは当然ながら難しいです。
- 高い位置更新レートは、基本的な補間をはじめとするいくつかの方法で実現できます。対象物は十分に慣性を持っているため、精度を犠牲にすることはありません。これは、Dashboardにすでに組み込まれている基本のRealtime Playerです。実際の超音波位置更新レートに対して対象物の動きが機敏すぎる場合は、当然ながら補間は機能せず、このページの主題であるリアルタイムIMUセンサーフュージョンのような、より高度な方法が必要になります
- IMUセンサーフュージョンのポストプロセッシングも利用できます。これは数年前から提供しているもので、本物のセンサーフュージョンです。「手抜き」をせずに、真に高い更新レートが得られます。ただし、レイテンシは比較的大きくなります。位置に対する即時の反応が不要で何かを追跡する場合、多くはこれが最良かつ推奨のソリューションです。たとえばスポーツです。印象的なスポーツの宙返りを追跡できます。宙返りは1秒にも満たない一瞬ですが、トラッキング結果は1-2秒後に得られます。あるいは、非常に高速なレーシングカーに最適なコーナリングを学習させる場合です。まず手動運転を記録し(ポストプロセッシングIMUセンサーフュージョンによる精密なトラッキング)、その後、AI学習をループに組み込みます。位置データを10 ms後に得るか10秒後に得るかは重要ではありません。10時間後でなければ、通常は問題ありません
- たとえばゴーカートのように、対象物についてよく分かっている場合があります。慣性、運転スタイル、最高速度などです。この情報を間接的にモデルに組み込むことができます。十分に高い更新レートの純粋な超音波ベースの屋内測位データがあれば、ゼロ、あるいはマイナスのレイテンシで位置データを外挿、つまり予測できます。結局のところ予測です。倉庫内の人のように、非常に機敏で予測できない移動体には使えませんが、十分に慣性のある多くの種類の移動体では非常にうまく機能します。該当する場合は活用してください。シンプルでロバストなシステムです。複雑にする必要はありません:MMSW0017: High update rate extrapolation
- 位置 + 方向のためのIMUセンサーフュージョンはPaired Beaconsに基づくもので、ヨーのドリフトを排除する一方、位置は扱わないため、IMUセンサーフュージョンのスペクトルの中ではよりシンプルな側に位置します。非常に高い角度分解能を持ち、角度のドリフトや跳びのない、本物のIMUセンサーフュージョンです。角度はジャイロスコープから取得するため、高分解能、低ノイズ、非常に高い更新レートといったジャイロスコープの利点をすべて享受でき、ジャイロスコープのヨードリフトはPaired Beacons構成によって排除されます。ピッチとロールのドリフトは、3D加速度計のデータに基づいて排除されます
- そして、それらの頂点にあるのがRealtime Ultrasound + IMU sensor fusionです。フュージョンの中で最も高度かつ最も複雑なバージョンであり、その複雑さはすべて、低レイテンシという要件から生じています
センサーフュージョンで克服すべき課題
センサーフュージョンは、単独のデータソースの欠点を克服することを目指します。たとえば次のとおりです。
- 超音波ベースの屋内測位システム:位置はドリフトせず、非常に高精度な位置データが得られますが、高レベルの音響ノイズや、遮蔽による位置の跳びが発生しやすい場合があります
- IMU(3D加速度計 + 3Dジャイロスコープ)は驚異的な角度分解能を持ち、つまり、方向の変化を極めて高い分解能で測定できます。加速度計とジャイロスコープはノイズが非常に小さいため跳びがなく、ミリメートルではなくマイクロメートルレベルの測位精度も得られます。しかし、IMUはドリフトし、しかも非常に急速に、現代の電子機器で使われる一般的なMEMSでは1秒未満から数秒で進みます。角度の短期的な変化は非常によく分かりますが、角度そのものは分かりません(ここで言及しているのはZ軸のことです。他の角度は加速度計の助けを借りれば容易に求まります)。加速度計の二重積分も可能ですが、加速度計のバイアスはゼロから大きくかけ離れており、1秒未満から数秒の間に蓄積する位置誤差は、超音波屋内測位システムのそれより大きくなります。つまり、IMUは嘘をつきます。したがって、純粋な慣性式の屋内測位システムにバラ色の期待を抱くべきではありません。基礎となる物理法則が根本的に変わらない限り、そのようなシステムは不可能か、超音波ベースの屋内測位システムと比べて精度が非常に低いかのいずれかです
低レイテンシの達成(および測定)が難しい理由
IMUセンサーフュージョンのポストプロセッシングを利用できるなら、利用してください。リアルタイムIMUセンサーフュージョンよりも常に高精度で信頼性が高くなります。
- ポストプロセッシングでは、より多くのデータを考慮できます。長時間蓄積したデータを使えるため、信頼度が高まり、遮蔽、ノイズ、その他の干渉による跳びに対するロバスト性が向上します
- 考慮できるデータが増えるほど、精度が高まり、信頼度が高まり、ロバスト性が高まります
リアルタイムIMUセンサーフュージョンでは、より多くのデータを使えるという特権がありません。より多くのデータを蓄積するには、より多くの時間が必要です。より多くの時間 = より高いレイテンシ。より高いレイテンシ → IMUセンサーフュージョンのポストプロセッシング。見事に機能しますが、あとからです。
リアルタイム低レイテンシIMUセンサーフュージョンで利用できるのは、次のものです。
- 過去の超音波ベースの位置データ。典型的な更新レートは4-20 Hzで、最新の超音波位置更新からの平均レイテンシ = 1/(位置更新レート) = 1/20 … 1/4秒 = 50 … 250 msとなり、実際の産業用途の大半には問題ありません。ただし、過去のデータのみを使うのであればIMUは不要です。はるかに簡単で、多くの場合より信頼性の高い外挿アプローチに頼ることができ、一部の種類の移動体にはうまく機能しますが、一部に限られます
- 最新の超音波位置更新があります。これは素晴らしいことですが、どのデータも100%の確信を持って信頼することはできません。しかも、超音波で測定された位置の急変が、移動体が強く重いものにぶつけられたことによる本当の変化なのか、単にノイズや遮蔽による跳びなのかを検証するための情報が、まだ(現時点では)十分にありません。検証するための追加データがないため、確信を持てないのです。そのデータが手に入るころには、すでに新しいデータがあり、古いデータは単に時代遅れになっているため、使うには遅すぎます。常に先へ先へと進まなければなりません。そのため、このデータは間接的に、ルール、仮定、重みの補正に利用しますが、現時点でデータを検証するためには使えません。その検証データが今は存在しないからです
- 生のIMUデータ。これは非常に役立ちます。位置が急変したと思われる場合、それは速度の急変も意味し、つまり大きな加速度を意味するため、IMUであれば、実際には跳びがなかったことを容易に検出できます。これで一部の問題は解決します … つまり、幻影/跳び/遮蔽か何かだったということです。たとえば、位置の跳びを説明するような急激な加速度をIMUが示していない場合、測定された超音波ベースの位置が正しいという可能性は除外できます。正しくありません。では、正しい位置はどこでしょうか。これは難しい問いです。ここから難しさが始まります。IMUに基づいて位置を計算するために、生のIMUデータで何をすべきでしょうか。… 加速度を単純に二重積分すればよいのでしょうか。そんなに簡単でしょうか。実際はそうではありません。重力方向に対して完全に垂直な状態で面上に置かれたIMUチップでも、完全ではないため、X、Yに非常に顕著な加速度が現れます。生データを読み取って測定してみてください。キャリブレーションは役立つため、推奨します。非常に有用です。しかし、二重積分では誤差が時間の2乗で効いてくるため、キャリブレーションを改善した効果は文字どおり短命です。1/4秒ではなく、1、2、5秒間にわたって±2 cmの精度に収めることができます! しかし、それが限界です。その後は、打ち消されなかった積分誤差が支配的になり始め、そのドリフトを打ち消すために、ドリフトしないデータソースが必要になります。光学測位、UWB、オドメトリ、Marvelmind超音波測位システム、あるいはそれらすべての組み合わせがより良いでしょう。これが本当のセンサーフュージョンです。そして、これこそ私たちが行っていることであり、そこに「どの単独のソースも信頼できない」という唯一の信条に基づく、自己チェックと自己検証のアルゴリズムという工夫を加えています。しかし、効率的に融合すれば、非常に信頼でき、非常に確実で、非常に正確な屋内測位データのソースになります


























