Inertial Human motion capture Fred Dijkstra (System Architect)
1
• • • • •
3D orientatie en positie tracking Gebruik van miniatuur MEMS en andere technologie HQ in Enschede, office Los Angeles >70 werknemers (~50% R&D) Klanten in meer dan 60 landen
Markten
Industrial
Entertainment
Movement science
Inertiële bewegingssensor Mechanisme
•
•
Metingen • 3D acceleratie • 3D rotatie snelheid • 3D magnetisch veld Bereken: • 3 DOF absolute orientatie
Signaal verwerking Ruwe data naar gefilterde data ACC GYR MAG
3D acceleratie
3D acceleratie
!"
3D hoeksnelheid
Strap Down Integration
3D magnetisch veld
(100-200Hz)
Filter
3D hoeksnelheid
!v Ruwe data – 2 kHz Anti-aliasing (vibraties en impact)
Gefilterde Data
MVN Full body human motion capture system
MVN Human motion capture
MVN suit
MVN Case
MVN Studio
http://youtu.be/Q6Vbv09ewGg
MVN Biomedische toepassingen
Biomechanisch onderzoek Systeem
April 27, 2012
Biomechanisch onderzoek Gewrichtshoeken
Awinda® system Volledig draadloos human motion tracking
Gewrichtshoeken! Applicaties: • Sport • Biomechanisch onderzoek • Ergonomie • Rehabilitatie
Kiezen draadloze technologie Process voor keuze
Gecombineerde metingen Synchronisatie Station
S1
Wanneer sensoren gecombineerd moeten worden voor bepalen gewrichtshoeken geldt het volgende: • Het bemonsteren moet gesynchroniseerd gebeuren. • Alle sensoren hebben hun data tegelijkertijd beschikbaar. • De transmissies moeten gecoordineerd gebeuren om pakket interferentie te voorkomen. • Synchronisatie moet beter dan 10 #s.
Draadloze technologie Pakket van Eisen Sensoren moeten gesynchroniseerd zijn Draadloos en batterij gevoed, dus energie zuinig Klein formaat Goedkope bewezen technologie gebruiken Alle data tegelijkertijd beschikbaar Real-time visualisatie Offline analyse, dus verliesvrij kunnen opnemen indien nodig • Ondersteunen van verschillende configuraties (aantal sensoren en data frequentie) • Toestaan dat af en toe buiten bereik • • • • • • •
Draadloze communicatie CSMA/CD (Carrier Sense Multiple Access/Collision Detection) Sensor
Station
CSMA/CD Data
Wait Data Ack Wait Data Ack
CSMA/CD
Data
ACK
Data
ACK
Simpel, ad-hoc netwerken, peer-to-peer
Draadloze communicatie TDMA (Time Division Multiple Access) Sensor
Master
Wait!for!timeslot Data
Wait Data Ack Wait Data Ack
Data
ACK
Data
ACK
Complexer vanwege connectie, statische netwerken met centrale netwerk master
Draadloze technologie TDMA Complexere implementatie: • Eerst connectie opzetten om tijdslot te krijgen • Gemeenschappelijke klok nodig via netwerk beacon • Nauwkeuriger klokken nodig = hoger energie verbruik Maar: • Volledige benutten radio kanaal want veel sensoren tegelijkertijd ! toepassing van human motion capture • Netwerk beacon gebruiken voor synchronisatie • Dus alleen nauwkeurige klok op station
Draadloze technologie TDMA Frame Vorige frame
S1
S2
S3
S32
Volgendef rame
Master broadcast Data
ACK
Data
ACK
Onnodig bij goede verbinding...
Draadloze technologie TDMA Frame Vorige frame
S1
S2
S3
S32
Volgende frame
Master broadcast Data
Maar, hoe om te gaan met data verlies? Conventioneel is om data punten te interpoleren. Maar omdat precies weten welke data ! betere keuze maken. Eerst welke data willen we versturen?
Draadloze technologie Welke data versturen? 3D acceleratie
!" Hoekverdraaiing Strap Down Integration
Filter
3D hoeksnelheid Filter = processing = power
!v Snelheidsverandering
Gefilterde data
Welke data draadloos versturen?
Geintegreerde data Filtering op de host (PC) Integratie interval 1
2
3
4
5
Geintegreerde data Door-integreren 1
2
3
4
6 V[1]
1
V[2] = !V[1,2]-!V[1]
1-2 Transmissie mislukt
5
Geen real-time visualisatie
1-3
V[4]
1-4 1-5 1-6
V[5] = !V[1,5]-!V[1,4] V[6] = !V[1,6]-!V[1,5] Data blijft correct
Frame interval
Wireless protocol TDMA Als toch nodig is om alle data te krijgen ! gebruiken van retransmissie tijdsloten De applicatie kan dit sturen via de broadcast van de master. Master Slot of Previous frame
Frame Tx slots
Re-Tx slots
Master slot Volgende frame
Vorige frame
Gebruikt door de sensoren om te bepalen: • Wat te verzenden • Wat opnieuw te zenden in retransmissie tijdsloten
Broadcast bevat o.a. retransmissie verzoeken. Buffering op sensor voor ongeveer 20 seconden. Daarna niet meer individuele integratie waardes ophalen.
Processor SDI Sampler
Scheduler
EMTS manager Measurement manager
LED manager Calibration parameters manager
Scheduler
UART
Radio link manager
PHY
CC2530
Awinda® protocol
Connection manager
Awinda Data frequentie tov aantal sensoren
250 kbps
Draadloze technologie Tijd synchronisatie Gebruik SFD timestamping van CC2530 voor tijd synchronisatie
Master
Preamble
SFD
Length
Protocol Data
Propagatie tijd < 1 #s
Receiver
Preamble
SFD
Length
Protocol Data
Synchronisatie algoritme om ook gesynchronieerd te blijven bij tijdelijk buiten bereik.
SFD ! Capture Timer
4 minuten = 10 #s
Awinda demo
Waarom geen positie? Drift: integratie van kleine fouten over de tijd •
• •
Als Awinda timing heel precies was kon dit gebruikt worden om plaatsbepaling mee te doen. Niet het geval Iets anders nodig…
Extra info nodig: Computer vision, GPS, Ultrasoon of RTLS (UWB)
MTi-G
MotionGrid
Locale plaatsbepaling Computer vision Aiding sensors
Sensor fusion
Vision 2D/3D corresp.
Accelerometers
Extended Kalman filter
Orientation ! Position X
Gyroscopes
April 27, 2012
30
Augmented reality
http://youtu.be/PbsAFtzgF5w
MotionGrid Ultra Wideband local positioning system
(Time-of-arrival)
MotionGrid
TDOA positioneringssysteem TOAA
A
TOAB
B Reader
Tag
Sync. & Distributie
D
TOAD
Readers zijn gesynchroniseerd
MotionGrid
Actor met tags
Reader
MotionGrid Combinatie van UWB met inertiele data • Voor mathematische oplossing minimaal TOA van 4 readers nodig. • Door blokkade van lichaam door hoge frequenties is dit niet altijd het geval. • Plaatsbepaling alleen met UWB niet robuust genoeg. • Combineren met inertiele data lost dit probleem op: beste van twee werelden.
http://youtu.be/_sLMlNwnUWw April 27, 2012
36
http://youtu.be/KsALNn58uUs
