Exploring the possibilities of Extended Reality in the world of firefighting

Janne Heirman Shivam Selleri
Persbericht

Binnenkort Virtual Reality aan boord van onze marineschepen?

De Belgische marine zoekt innovatieve manieren om de huidige brandbestrijdingsopleiding te verrijken. Simulatoren die gebruik maken van immersieve technologieën, zoals Virtual Reality, bieden veel potentieel. Zulke simulatoren stellen de bemanning in staat om in een veilige omgeving te trainen.

Wanneer een schip zich op open zee bevindt, moet de bemanning in staat zijn om elk noodgeval zelf op te lossen, ook brand. Daarom vormt brandbestrijding een essentieel onderdeel van de opleiding binnen de Belgische marine. De huidige opleiding bestaat uit theoretische cursussen, gevolgd door praktische trainingen aan wal. Een simulator zou de tussenstap kunnen vormen tussen beiden.

Twee masterstudenten industrieel ingenieur aan de KU Leuven werkten samen met de marine om een brandbestrijdingssimulator te ontwikkelen. Het eindresultaat bestaat uit een Virtual Reality (VR) simulator en een Mixed Reality (MR) simulator. Bij VR wordt de speler met behulp van een headset volledig ondergedompeld in een virtuele wereld. Bij MR bevindt er zich een camera vooraan de headset die de werkelijke wereld filmt (afbeelding onder). Aan de camerabeelden worden virtuele objecten, zoals bijvoorbeeld vuur, toegevoegd. De speler krijgt de verwerkte beelden te zien waardoor het lijkt alsof de kamer echt in brand staat.

Headset met stereocamera

De simulatoren

Beide simulatoren hebben een gelijkaardige gameplay. De instructeur plaatst met behulp van een controller brandhaarden in de (virtuele) omgeving. Dit geeft de instructeur de mogelijkheid om oneindig veel verschillende scenario’s te creëren. Vervolgens zal de leerling met behulp van een specifiek voor deze applicatie ontworpen controller de brandhaarden proberen te blussen. Na afloop volgt er een verslag met brandbestrijdingsstatistieken, zoals waterverbruik en tijd.

Spelweergave van de VR simulator

De VR simulator (afbeelding boven) bevat een zelf ontwikkeld vuurverspreidingsalgoritme bestaande uit twee delen. Enerzijds is er de propagatie van vuur binnenin een object. Anderzijds is er de verspreiding naar naburige objecten. Het algoritme stuurt de vuurpropagatie automatisch aan in functie van de tijd en de aard van het brandend materiaal.

De MR simulator kan gewoon mee aan boord genomen worden om in verschillende compartimenten te trainen

Met de MR simulator (afbeelding onder), daarentegen ziet de speler de reële wereld. Virtuele vuren en waterdruppels worden aan de live camerabeelden toegevoegd. De camera die gebruikt wordt is een stereocamera. Dit is een camera met twee lenzen die ongeveer even ver uit elkaar staan als menselijke ogen. Dit zorgt ervoor dat de camera dieptezicht heeft en vlakke oppervlakken kan herkennen. Vuren zullen maar deels of helemaal niet zichtbaar zijn wanneer er zich een (reëel) object tussen de speler en het vuur bevindt. “Het voordeel van de MR simulator is dat er geen virtuele omgeving ontworpen moet worden. Dit bespaart een hele hoop werk, tijd en dus geld”, vertelt één van de studenten. “De MR simulator kan gewoon mee aan boord genomen worden om in verschillende compartimenten te trainen”, vult de andere student aan.

Spelweergave van de MR simulator

Op maat gemaakte controller

Beide simulatoren maken gebruik van dezelfde tangible user interface. Dit is een interface waarmee de speler via de fysieke omgeving interageert met de simulator. In dit geval werd er een gemodificeerd spuitstuk van een brandhaspel gebruikt. Dit spuitstuk vormt de controller waarmee de speler draadloos met de simulatoren kan interageren. Deze werd uitgerust met sensoren om de bewegingen en handelingen te volgen. De sensoren zijn aan het spuitstuk bevestigd aan de hand van zelf gemodelleerde en 3D-geprinte stukken.

De controller is een cruciaal deel van de simulator en is exact hetzelfde model dat ook gebruikt wordt bij de marine. Dit zorgt ervoor dat een leerling het gevoel krijgt dat hij met de echte, niet digitale wereld interageert wat ook wel Reality Based Interaction (RBI) wordt genoemd. Het grote voordeel hiervan is dat de in de simulatoren aangeleerde handelingen rechtstreeks overgebracht kunnen worden naar de reële wereld en omgekeerd. Een ander voordeel is dat RBI minder mentale inspanningen vereist en dat het ook de prestaties van de gebruikers verbetert in stressvolle situaties.

Spuitstuk uitgerust met sensoren

De toekomst

De marine gelooft in het potentieel van de ontwikkelde simulatoren en immersieve technologieën in het algemeen. Het laat hen toe om complexe, dure of in realiteit moeilijk te simuleren scenario’s in te oefenen. De simulator kan mee aan boord genomen worden zodat de training kan blijven doorgaan wanneer een schip zich op zee bevindt.

Toch moet benadrukt worden dat het hier om prototypes gaat die nog uitbreidbaar en voor verbetering vatbaar zijn. Zo bevat de MR simulator bijvoorbeeld geen vuurverspreidingsalgoritme omdat de huidige technologie hier nog niet toe in staat is.

In functie van hun thesis verrichtten de twee ingenieursstudenten onderzoek naar de mogelijkheden van VR en MR in de trainingsomgeving. Dit leverde een werkend prototype op en vormt een basis waarop de marine in de toekomst kan verder bouwen bij de ontwikkeling van een volwaardige, afgewerkte simulator. Wie weet worden alle Belgische marineschepen in de toekomst wel uitgerust met een VR of MR simulator...

Bibliografie

Aber, J. S., Marzolff, I., Ries, J. B., and Aber, S. E. (2019). Small-Format Aerial Photography and UAS Imagery. Elsevier.

Advanced Photonix Inc. (2014). TO-18 Hermetic Photocell.

ArcGIS API for Python (n.d.). How single-shot detector (SSD) works? https://developers. arcgis.com/python/guide/how-ssd-works/. Accessed on: April 27, 2020.

Arduino (n.d.). ARDUINO MKR1000 WIFI. https://store.arduino.cc/arduino-mkr1000- wifi. Accessed on: April 24, 2020.

Auburn (n.d.). Heat Transfer. https://www.auburn.edu/academic/forestry_wildlife/ fire/heat_transfer.html. Accessed on: February 28, 2020.

Deakin Research (2018). Flaim systems introduction. https://www.youtube.com/watch?v= qetFVU9G4iw. Accessed on: April 24, 2020.

Dede, C. (2009). Immersive interfaces for engagement and learning. Science, 323 5910:66–9.

Dupire, B. and Fernandez, E. B. (2001). The command dispatcher pattern.

FLAIM Systems (2019). Flaim trainer overview. https://www.flaimsystems.com/flaimtrainer/. Accessed on: April 24, 2020.

Flynt, J. (2019). What to do When your 3D Printer Nozzle Keeps Clogging. https://3dinsider. com/3d-printer-nozzle-clogging/. Accessed on: April 24, 2020.

Goldschmidt, B. (2019). 3D Printer Bed Adhesion: All You Need To Know. https://all3dp.com/ 2/3d-printer-bed-adhesion-all-you-need-to-know/. Accessed on: April 24, 2020.

Hannah (2019). Fires - How they start and how they spread. https://firearrest.com/fireshow-they-start-and-how-they-spread/. Accessed on: May 17, 2020.

Hewlett-Packard (n.d.). HP Z VR Backpack G1 Workstation Specifications. https://support. hp.com/in-en/document/c05757035. Accessed on: April 26, 2020.

Hullette, T. (2019). 3D Printer Over-Extrusion: 3 Simple Solutions. https://all3dp.com/2/ over-extrusion-3d-printing-tips-and-tricks-to-solve-it/. Accessed on: April 24, 2020.

Jacob, R., Girouard, A., Hirshfield, L., Horn, M., Shaer, O., Solovey, E., and Zigelbaum, J. (2008). Reality-based interaction: A framework for post-WIMP interfaces. In Proc. CHI 2008.

Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollar, P., and Zitnick, C. L. ´ (2014). Microsoft coco: Common objects in context. In European conference on computer vision, pages 740–755. Springer.

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y., and Berg, A. C. (2016). SSD: Single Shot Multibox Detector. In European conference on computer vision, pages 21–37. Springer.

Marsden Fire Safety (n.d.). Fire extinguishers. https://www.marsden-fire-safety.co.uk/ resources/fire-extinguishers. Accessed on: February 20, 2020.

MathWorks (n.d.). What is Object Detection? 3 things you need to know. https://nl. mathworks.com/discovery/object-detection.html. Accessed on: April 27, 2020.

Merriam-Webster (n.d.a). Stereo camera. https://www.merriam-webster.com/dictionary/ stereo%20camera. Accessed on: April 25, 2020. Merriam-Webster (n.d.b). Virtual reality. https://www.merriam-webster.com/dictionary/ virtualreality. Accessed on: April 25, 2020.

Microsoft (2018). What is mixed reality? https://docs.microsoft.com/en-us/windows/ mixed-reality/mixed-reality. Accessed on: April 25, 2020.

Niehorster, D. C., Li, L., and Lappe, M. (2017). The accuracy and precision of position and orientation tracking in the htc vive virtual reality system for scientific research. i-Perception, 8(3):2041669517708205.

One Bonsai (n.d.). How VR Achieves Presence. https://onebonsai.com/blog/how-vrachieves-presence/. Accessed on: May 3, 2020.

Qualcomm (n.d.). XR is the future of mobile computing. We are making mobile XR a reality. https: //www.qualcomm.com/invention/extended-reality. Accessed on: April 30, 2020.

Rubin, P. and Grey, J. (2020). The WIRED Guide to Virtual Reality. https://www.wired.com/ story/wired-guide-to-virtual-reality/. Accessed on: April 18, 2020.

Schlager, B. (2017). Building a Virtual Reality Fire Training with Unity and HTC Vive. In CESCG 2017: The 21st Central European Seminar on Computer Graphics.

Sharan, L., Rosenholtz, R., and Adelson, E. (2010). Material perception: What can you see in a brief glance? Journal of Vision - J VISION, 9:784–784. 

Silicon Laboratories Inc. (2019). Si721x Field Output Hall Effect Magnetic.

Stereolabs Inc. (2020). ZEDManager.cs. github.com/stereolabs/zed-unity/blob/master/ ZEDCamera/Assets/ZED/SDK/Helpers/Scripts/ZEDManager.cs. Accessed on: April 29, 2020.

Stereolabs Inc. (n.d.a). Depth sensing overview. https://www.stereolabs.com/docs/depthsensing/. Accessed on: January 21, 2020.

Stereolabs Inc. (n.d.b). How to use TensorFlow with ZED. https://www.stereolabs.com/docs/ tensorflow/. Accessed on: May 1, 2020.

Stereolabs Inc. (n.d.c). ZED Mini - Mixed-Reality Camera. https://www.stereolabs.com/zedmini/. Accessed on: January 21, 2020.

TensorFlow (2018). Configuring the Object Detection Training Pipeline. https://github.com/ tensorflow/models/blob/master/research/object_detection/g3doc/configuring_ jobs.md. Accessed on: May 1, 2020.

TensorFlow (2020a). Tensorflow Object Detection API. https://github.com/tensorflow/ models/tree/master/research/object_detection. Accessed on: April 27, 2020.

TensorFlow (2020b). TFRecord and tf.Example. https://www.tensorflow.org/tutorials/ load_data/tfrecord. Accessed on: May 1, 2020.

Texas Instruments (2016). DRV5033 Digital-Omnipolar-Switch Hall Effect Sensor.

Unity Technologies (n.d.). Game engines-how do they work? https://unity3d.com/what-isa-game-engine. Accessed on: April 28, 2020.

Valve Corporation (2017). SteamVR Tracking Technology Update. https://steamcommunity. com/games/steamvrtracking/announcements/detail/1264796421606498053. Accessed on: May 1, 2020.

Valve Corporation (2019). SteamVR Unity Plugin.

Valve Corporation (n.d.). SteamVR Tracking. https://partner.steamgames.com/ vrlicensing. Accessed on: May 1, 2020.

VIVE (n.d.a). VIVE Enterprise. https://enterprise.vive.com/eu/?_ga=2.259048781. 650489788.1589580668-36822316.1589580668. Accessed on: May 15, 2020.

VIVE (n.d.b). VIVE Enterprise. https://enterprise.vive.com/eu/product/vive-pro/. Accessed on: January 21, 2020.

VIVE (n.d.c). VIVE Wireless Adapter. https://www.vive.com/eu/wireless-adapter/. Accessed on: April 26, 2020.

VR Awards (2018). 2018 Winners and Finalists. https://vrawards.aixr.org/winners-andfinalists-2018/. Accessed on: January 21, 2020.

Universiteit of Hogeschool
Industriële ingenieurswetenschappen: elektronica - ICT, optie internet computing
Publicatiejaar
2020
Promotor(en)
Prof. Stefaan Desmet
Kernwoorden
Share this on: