자율 실내 드론 및 로봇을 위한 초음파 + IMU 센서 퓨전 기반의 고속, 저지연 IPS / RTLS
핵심 요약
- 80 Hz 위치 업데이트 속도 (동일한 하드웨어에서 향후 새로운 소프트웨어 릴리스를 통해 더 높아질 수 있습니다)
- 12-20 ms 지연 시간 – 이동 물체의 움직임 유형과 설정에 따라 달라집니다
- 3D 추적. 1D 및 2D 추적도 지원합니다(물론이죠 🙂
- 특히 자율 드론 및 기타 노이즈가 많은 객체에 적합합니다
- 이 글에서는 NIA와 MF NIA를 중점적으로 다룹니다. IA용 초음파 + IMU 센서 퓨전은 몇 달 전에 출시되었습니다
- 단일 비콘만으로 방향을 제공합니다. 위치 + 방향을 위한 Paired Beacons 구성도 지원합니다
- 일시적인 비가시선(non-line-of-sight) 환경에서 추적 강건성이 대폭 향상됩니다
- 더 쉬운 3D 시각화를 위해 새로운 Marvelmind Dashboard 3D가 패키지에 포함되어 있습니다(아직은 플레이어 전용 모드)
- 이 기능은 MMSW0021: Realtime Ultrasound + IMU sensor fusion 라이선스(IA와 NIA 모두)로 활성화됩니다
- 상용으로 완전히 제공됩니다. 지금 다운로드하여 바로 사용해 보십시오
최소 구성
IMU 센서 퓨전을 적용한 NIA 실내 위치 추적 시스템은 다음과 같은 몇 가지 핵심 요소로 구성됩니다.
- 모바일 비콘은 이동 물체(예: 드론)에 장착합니다
- 고정 비콘은 커버리지를 제공하기 위해 주변에 배치합니다 – 위의 동영상에서 개요를 확인하시고, 권장 사항은 Placement Manual(배치 매뉴얼)을 참조하십시오
- 모뎀은 이 모든 장치를 제어합니다. NIA에서는 모뎀이 더 이상 위치를 계산하지 않습니다. 이제 위치는 모바일 비콘이 계산합니다. 지금부터는 새로운 방식입니다
- RHU는 고속 IMU 데이터를 모뎀 측에서 수신합니다. 또한 여러 계층의 후처리를 수행하여 추적의 강건성과 품질을 더욱 향상시킵니다. 비교적 새로 등장한 구성 요소이지만, Split-Modem Architecture의 핵심 요소였으며, 모뎀 측에서 저지연 IMU 센서 퓨전 데이터를 얻으려는 경우 이 아키텍처가 주류가 되고 있습니다. 데이터를 모바일 비콘 측에서 사용한다면 RHU는 필요하지 않습니다
따라서 고속, 저지연 추적을 활용하기 위한 권장 최소 구성은 다음과 같습니다.
- Starter Set Super-MP-3D
- Modem HW v5.1 – RHU용입니다. 모뎀과 동일한 하드웨어이지만 패키지에 포함된 다른 소프트웨어를 사용합니다
- 4 x Magnetic holder(고정 비콘용)
- 1 x MMSW0021: Realtime Ultrasound + IMU sensor fusion
이름에 -4 또는 그 이후 버전이 붙은 최신 비콘만 지원됩니다
현재 지원되는 모바일 비콘은 다음과 같습니다.
- Super-Beacons-4
- Industrial Super-Beacons-4
- Industrial-RX-4 with Omni
- Industrial-RX-4 with Horn
지금 하드웨어를 구매하신다면 유통업체에 -4 버전을 확인하여 출고해 달라고 요청하실 수 있습니다. 당사 창고에는 -4 버전만 남아 있습니다. 그러나 현장에서는 -1, -2, -3 버전도 여전히 많이 찾아볼 수 있습니다.
이 비콘들과 다른 모바일 비콘의 더 새로운 하드웨어 버전은 MMSW0021: Realtime Ultrasound + IMU sensor fusion 기능을 지원할 가능성이 높습니다.
오해를 피하기 위해 말씀드립니다:
- Super-Beacons, Super-Beacons-2, Super-Beacons-3, Industrial Super-Beacons-2 및 -3, Industrial-RX-2 및 -3 등 그 밖의 더 오래된 장치는 모바일 장치로서 MMSW0021: Realtime Ultrasound + IMU sensor fusion 기능을 지원하지 않습니다
- 그러나 고정 비콘으로는 제한이 없으며, IA에서 고정 비콘으로 동작할 수 있다면 고정 비콘으로 쉽게 사용할 수 있습니다. 예를 들어 Industrial-RX는 트랜스듀서가 전혀 없어 초음파를 송출할 수 없으므로 IA에서 고정 비콘으로 동작할 수 없습니다. 이는 이 기능과는 관련이 없지만, 아키텍처 요구 사항에 관한 기본 사항을 잊어서는 안 됩니다. 매우 오래된 Beacons HW v4.9도 고정 비콘으로 사용할 수 있습니다
센서 퓨전은 로보틱스의 성배입니다
센서 퓨전을 사용하면 두 세계의 장점을 모두 얻을 수 있습니다.
- 초음파는 높은 정확도의 위치 추적을 제공하고 위치 드리프트가 없지만, 짧은 가림이나 노이즈에도 위치가 튈 수 있습니다
- IMU는 매우 높은 각도 분해능을 제공하고 위치 점프가 없지만, 드리프트가 발생합니다
두 소스를 제대로 융합하는 것은 기술적으로 매우 어렵고 이동 물체에 대한 몇 가지 가정이 필요하지만, 초음파 단독 시스템이나 IMU 단독 시스템에서는 얻을 수 없는 결과를 제공합니다. 매우 높은 위치 업데이트 속도, 낮은 지연 시간, 가림에 대한 더 높은 강건성, 그리고 더 높은 정확도입니다. 말 그대로 두 세계의 장점을 모두 취하는 방식입니다.
센서 퓨전은 기술의 나무이며, 하나의 솔루션이 모든 경우를 해결하는 것이 아닙니다
이전 글에서 설명한 바와 같이 IMU 센서 퓨전에는 여러 갈래가 있습니다. 요약하면 다음과 같습니다.
- NIA용 IMU 센서 퓨전 – 드론과 같이 노이즈가 많은 객체에 최적입니다
- IA용 IMU 센서 퓨전 – 모바일 비콘이 초음파를 수신하는 경우, 즉 사람 추적이나 군집(swarm) 드론/로봇에 적합합니다
- IMU 센서 퓨전 후처리 – 이미 데이터 전체를 확보하고 있고 지연 시간이 중요하지 않아 전반적으로 최고의 추적 품질이 필요할 때, 예를 들어 스포츠나 주행 경로 분석에 매우 좋습니다
- 방향용 IMU 센서 퓨전 – Paired Beacons 구성
- 외삽(Extrapolation) – 기술적으로는 센서 퓨전이 아닙니다. 하지만 경로를 예측할 수 있는 경우에는 최적의 솔루션입니다
저지연, 고속, 더 높은 강건성, 단일 비콘으로 방향 제공 및 기타 이점
IA용 IMU 센서 퓨전에 관한 글에서는 IMU 센서 퓨전이 제공하는 위치 데이터의 낮은 지연 시간과 그 측정 방법에 크게 중점을 두었습니다. 따라서 해당 글에서 기계적 충격으로부터 IMU 적분, 위치의 처리 및 계산에 이르기까지 지연 시간을 어떻게 측정했는지를 보여 주는 여러 충격 그래프와 설명을 확인하실 수 있습니다.
NIA용 IMU 센서 퓨전 신규 소프트웨어와, IA용과 NIA용 IMU 센서 퓨전이 주요 소프트웨어 릴리스에서 하나로 통합될 향후 개발을 통해, 우리는 위치 데이터의 낮은 지연 시간보다 IMU 센서 퓨전 접근 방식의 전반적인 우수성을 더 강조합니다.
- 높은 업데이트 속도 – 80 Hz, 향후 더 높아질 수 있음 – 실제 산업 응용의 대다수에 충분합니다
- 낮은 지연 시간 – 12-20 ms – 실제로 측정하기 어려우며, 설정, 맵, 객체의 이동 이력에 따라 달라집니다. 즉, 적응형입니다. 그러나 핵심은 이 또한 실제 응용의 대다수에 충분하다는 점입니다. 결국 우리는 산업 자동화 비즈니스를 하고 있습니다
- 향상된 정확도, 특히 정지 상태에서
- 짧은 시간의 가림, 음향 노이즈 및 기타 악조건에 대한 훨씬 더 높은 강건성과 계층적 접근 방식을 통한 향상된 추적 품질
- 이제 단일 모바일 비콘만으로 방향/자세를 얻을 수 있습니다. 이는 동적 방식입니다. 임의의 방향으로 약 50 cm 정도 이동해야 합니다. 시스템이 위치를 결정하여 매우 정밀하게 측정하고, 시스템을 끌 때까지 정지 상태에서도 이를 유지합니다
요약하면, IMU 센서 퓨전은 로보틱스 전반, 그리고 그 하위 분야인 실내 위치 추적에서 실로 성배와 같으며, 수많은 이점을 함께 가져옵니다.
향상된 정확도
IMU 센서 퓨전은 더 많은 데이터를 결합하고 일부 점프를 제거하여 정확도를 높입니다.
IMU 센서 퓨전은 특히 정지 상태의 정확도에 유리합니다. 동시에 동적 상태에서는 IMU 센서 퓨전이 오차의 변동 폭을 키울 수도 있지만, 결과는 전적으로 구성, 조건 및 움직임의 유형에 달려 있습니다. 객체에 대해 더 많이 알수록 설정과 성능을 더욱 최적화할 수 있습니다.
이제 단일 모바일 비콘으로도 방향을 얻을 수 있습니다
예전에는 방향을 알기 위해 Paired Beacons 구성이 필요했습니다.
이제는 단일 모바일 비콘으로 비행하는 것을 권장하며, Paired Beacons 구성도 선택 사항으로 계속 제공됩니다.
단일 모바일 비콘:
- 가벼운 옵션: 두 번째 비콘, 프레임, 베이스 거리, 모바일 비콘 사이의 두 가닥 배선이 필요 없습니다
- 방향을 결정하려면 임의의 방향으로 약 50 cm 이동해야 하며, 이후 방향이 고정(lock)됩니다
- 시스템을 끌 때까지 정지 상태에서도 방향을 유지하고 기억합니다
- DJI Mini 이하의 소형 드론에는 사실상 유일한 선택지입니다
Paired Beacons:
- 먼저 비행하여 방향을 결정할 필요 없이 정지 상태에서도 방향을 제공합니다
- 비콘의 무게가 중요하지 않고 베이스를 충분히 크게 잡을 수 있는 대형 드론에 특히 적합합니다
향상된 추적 강건성과 품질
추적에는 계층적 접근 방식을 사용합니다.
- 초음파 추적: 고전적인 방식이며 Dashboard 2D에서 파란색 점으로 확인할 수 있습니다
- 초음파와 IMU 데이터를 기반으로 센서 퓨전 데이터를 생성합니다. 이 데이터는 이미 낮은 지연 시간과 높은 업데이트 속도의 모든 이점을 제공합니다. 이 데이터는 헤지호그(모바일 비콘) 측에서는 사용할 수 있지만 아직 모뎀 측에서는 사용할 수 없습니다. 따라서 완전 자율형 PixHawk 드론은 이를 사용할 수 있지만, 두뇌가 드론 외부에 있는 DJI 드론은 사용할 수 없습니다
- 비교적 낮은 속도(~8 Hz)의 데이터는 평소처럼 모뎀으로 스트리밍됩니다. 그러나 고속(80 Hz) IMU 융합 데이터는 RHU로 스트리밍됩니다. 동영상에서 매우 빠른 파란색 꼬리 점을 볼 수 있는데, 그것이 IMU 융합 데이터입니다
- RHU는 데이터를 수신할 뿐 아니라 IMU 계층에서, 그리고 더 많은 데이터를 사용할 수 있는 상태에서 초음파 계층에서도 다시 광범위하게 처리합니다. 처리 계층은 여러 개입니다. 그중 최종 계층이 “골든(golden)” 계층으로, 모든 계층에서 신뢰도가 가장 높은 최상의 정보를 선택합니다. 따라서 사용자는 12-20 ms 지연의 매우 빠른 IMU 데이터와, 약 200-300 ms 뒤에 더욱 검증된 골든 데이터를 모두 얻을 수 있습니다. 그 결과 추적의 강건성이 크게 향상됩니다. 좋지 않은 조건이나 부분적 또는 일시적인 장애물이 있는 상황에서도 추적이 얼마나 더 깨끗하고 일관된지 눈으로 쉽게 확인할 수 있습니다.
사용자 장치 연결 및 추가 지연을 피하는 방법
MMSW0021: Realtime Ultrasound + IMU sensor fusion 기능의 가장 큰 장점 중 하나가 위치 데이터의 낮은 지연 시간이므로, 위치 데이터를 얻는 방법과 인터페이스나 운영 체제로 인한 추가 지연을 발생시키지 않는 방법을 명확히 이해하는 것이 매우 중요합니다.
새 버전에서 현재 지원되는 방식은 다음과 같습니다.
- 모바일 비콘(hedge 또는 hedgehog라고도 함)의 일반 UART – Super-Beacon의 4×4 핀 또는 Industrial 비콘의 7핀 데이터 커넥터 내부 핀을 사용하는 방식이 눈에 띄는 추가 지연 없이 저지연 위치 데이터를 얻는 가장 좋고 가장 쉬운 방법입니다
- hedge의 USB를 통한 방식(추가 지연 약 1 ms + USB 드라이버 지연(OS에 따라 다름)). 가장 큰 우려 사항은 OS 지연과 그 지터의 예측 불가능성입니다. 추가 지연은 평가하기 어려우며, 체감되지 않는 수준부터 상당한 수준까지 다양합니다. OS의 제어할 수 없는 지연으로 인한 잠재적인 지연 지터도 또 다른 우려 사항입니다. 그러나 실제로는 이러한 우려가 과장되어 있을 수 있으며, 그런 경우 USB를 사용하므로 UART 배선(위 참조)보다 오히려 더 간단한 연결 방식입니다
- RHU의 USB/UART를 통한 방식. 사실상 Split Modem Architecture를 사용하는 것입니다. 이는 높은 위치 업데이트 속도와 낮은 지연 시간으로 대상을 추적하거나, 예를 들어 DJI 드론을 비행시키려는 경우 모바일 비콘 측이 아닌 모뎀 측에서 저지연 데이터를 얻는 가장 좋은 방법입니다. 그 시스템에서는 “두뇌”가 드론이 아니라 외부에 있기 때문입니다
위치 데이터를 추출하는 방법으로는 실용적으로 권장되기보다는 이론적으로 가능한 다른 방식도 있습니다.
- hedge를 USB로 연결한 Dashboard를 통한 UDP(추가 지연 약 1 ms + USB 드라이버 지연 + UDP 전송 지연(일반적으로 네트워크에 따라 3…50 ms))
- 마스터 hedge를 USB로 연결한 Dashboard를 통한 REST 또는 MQTT(추가 지연 약 1 ms + USB 드라이버 지연 + REST/MQTT 전송 지연). 이 경우에도 총 추가 지연을 평가하기 어렵습니다. 그러나 이 방식도 지원됩니다
- Split Modem Architecture에서 특수 펌웨어를 탑재한 Modem HW v5.1을 Dashboard에 연결하여 UDP/REST/MQTT/로그를 통해 얻는 방식(추가 지연은 hedge를 Dashboard에 연결한 경우와 같으며, 여기에 500 kbps 무선 전송으로 약 1 ms가 더해집니다)
- 마스터 hedge를 USB로 연결한 Dashboard의 로그 파일을 통한 방식(후처리용 – 지연 시간 해당 없음)
정밀하고 빠르며 지연이 낮은 실내 추적을 위해 계속 진화하는 센서 퓨전
NIA와 IMU 센서 퓨전은 이미 지금 완전히 제공되고 있으며, 오늘 바로 주문하고 다운로드하여 사용하실 수 있습니다.
그러나 진화는 멈추지 않습니다. 더 많은 데이터를 융합하고 이를 영리하게 결합하여 더 빠른 속도, 더 낮은 지연 시간, 더 높은 강건성으로 추적을 제공한다는 접근 방식은 언제나 승리하는 접근 방식입니다.