AR90 : Revisiting Augmented Reality Interactions from an Ergonomics Perspective
AR90 : Revisiting Augmented Reality Interactions from an Ergonomics Perspective
AR90: Augmented-Reality Interacties herbekeken van- uit een Ergonomisch standpunt
Introductie
Stel je voor dat je doorheen de stad trekt op zoek naar een restaurant. Je haalt je smartphone uit je zak en bekijkt de stad doorheen de camera. Op dit live beeld van de camera zie je vervolgens navigatiegegevens naar restaurants live worden afgebeeld, tesamen met hun rating op Foursquare, zoals dit wel vaker voorkomt in futuristische films. Bijvoorbeeld in de film Iron Man wordt deze technologie gebruikt om een Heads-Up Display (HUD) te creëren.
Augmented Reality (AR) is een technologie die deze vorm van presentatie reeds mogelijk maakt, en steeds meer en meer gebruikt wordt in ons dagelijks leven. AR is een technologie die een reëel beeld, een beeld van de echte wereld, combineert met virtuele objecten. Het is belangrijk om te weten dat AR technologie niet hetzelfde is als Virtual Reality (VR) technologie, welke fel bekend is vanuit de game industrie en enkel bestaat uit virtuele objecten. AR wordt mooi in het midden wordt gepositioneerd, tussen de echte wereld, en de virtuele wereld in. AR combineert dus de echte wereld, zoals wij deze zien, met een virtuele wereld dewelke ons reeds bekend is vanuit de game industrie.
AR technologie wordt reeds toegepast in verschillende sectoren. Zo maken geografische-, toeristische- en medische sector, navigatie, entertainment, militaire applicaties, bouwkunde, robotische systemen, ontwikkeling, en consumenten applicaties allen gebruik van deze technologie om alledaagse taken te vereenvoudigen. Bijgevolg is er al veel onderzoek gedaan. Bijvoorbeeld de dichtheid van het aantal items op een map heeft effect op de beleving van het AR effect. Zo is men te weten gekomen dat wanneer dit aantal groter wordt, mensen niet meer naar de map gaan kijken, maar liever het toestel als een scanner gaan gebruiken. Ook het gebruik van AR op drukke plaatsen kan gevoelig liggen. Mensen hebben immers niet graag dat anderen een camera naar hun richten omwille van privacy redenen.
Traditioneel gezien mikt AR technologie op interacties van korte duur, waarbij ergonomische eigenschappen minder belangrijk zijn. Wij trachten echter na te gaan wat de effecten zijn van deze applicaties bij langdurig gebruik op vlak van ergonomie. Daarom hebben wij een applicatie ontwikkeld, genaamd AR90.
AR90 - De applicatie
AR90 is een applicatie die ons toelaat om een camera effect te simuleren door middel van het tracken van een toestel in meerdere dimensies, en vervolgens een Virtual Environment (VE) te creëren op basis van zijn locatiegegevens. Tijdens het uitvoeren van testen hadden de meeste gebruikers niet door dat deze camera gesimuleerd werd. Door deze applicatie te gebruiken is het voor ons mogelijk om een camera effect te simuleren onder een willekeurig gekozen hoek.
Vervolgens hebben we deze applicatie geïnstalleerd op verschillende toestellen, om zo de effecten tussen deze verschillende toestellen te kunnen vergelijken. Meer bepaald hebben we de applicatie geïnstalleerd op een smartphone met een groot scherm, een smartphone met een klein scherm, en een smartwatch.
Conclusie
Na het uitvoeren van experimenten met verschillende toestellen en verschillende oriëntaties hebben we ontdekt dat wanneer snelheid belangrijk is, men moet vasthouden aan de standaard 90◦ oriëntatie. Wanneer snelheid echter minder belangrijk is, wordt het interessant om het toestel onder een hoek te gaan houden. Een hoek van 45◦ voelt bijvoorbeeld veel natuurlijker voor gebruikers, aangezien dit de hoek is waarin het toestel het meerendeel van de tijd wordt vastgehouden.
Ook hebben we gevonden dat het gebruik van smartwatches in combinatie met AR technologie zijn beperkingen heeft. Omdat smartwatches typisch verbonden zijn met het menselijk lichaam, dienen bewegingen nu uit de schouder te komen, in plaats van uit de elleboog zoals dat met smartphones het geval is. Dit levert veel meer problemen op voor de spieren en gewrichten van het menselijk lichaam.
Schermgrootte heeft ook een invloed. We hebben reeds vermeld dat wanneer tijd belangrijk is, de standaard 90◦ oriëntatie het beste presteert. Ook wordt dit effect sterker naarmate schermgrootte groeit. Hoe groter het scherm, hoe meer winst er kan worden gehaald op gebied van tijd door de camera in deze 90◦ oriëntatie te gebruiken.
Met de resultaten van dit onderzoek wordt het mogelijk om een ideale AR applicatie te ontwikkelen, die de oriëntatie van de camera dynamisch kan aanpassen. Op basis van de uit te voeren taak kan bijvoorbeeld een motor gebruikt worden om de camera van hoek te doen veranderen.
[1] R. Azuma. A survey of augmented reality. Presence, 6(4):355–385, 1997.[2] R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, and Blair MacIntyre. Re- cent advances in augmented reality. Computer Graphics and Applications, IEEE, 21(6):34–47, Nov 2001.[3] M. Bachynskyi, A. Oulasvirta, G. Palmas, and T. Weinkauf. Is motion capture- based biomechanical simulation valid for hci studies?: Study and implications. pages 3215–3224, 2014.[4] M. Bachynskyi, G. Palmas, A. Oulasvirta, J. Steimle, and T. Weinkauf. Perfor- mance and ergonomics of touch surfaces: A comparative study using biomechanical simulation. pages 1817–1826, 2015.[5] E. Bier, M. Stone, K. Pier, W. Buxton, and T. DeRose. Toolglass and magic lenses: The see-through interface. pages 73–80, 1993.[6] S. Boring, M. Jurmu, and A. Butz. Scroll, tilt or move it: Using mobile phones to continuously control pointers on large public displays. pages 161–168, 2009.[7] V. Buchmann, S. Violich, M. Billinghurst, and A. Cockburn. Fingartips: Gesture based direct manipulation in augmented reality. pages 212–221, 2004.[8] M. Cohen and K. Brodlie. Focus and context for volume visualization. In Theory and Practice of Computer Graphics, 2004. Proceedings, pages 32–39, June 2004.[9] R. Desale and V. Ahire. A study on wearable gestural interface–a sixthsense technol- ogy. IOSR Journal of Computer Engineering (IOSR-JCE) e-ISSN, pages 2278–0661.[10] A. Feiner. The flexible pointer: An interaction technique for selection in augmented and virtual reality. pages 81–82, 2003.[11] George W. Fitzmaurice. Situated information spaces and spatially aware palmtop computers. Commun. ACM, 36(7):39–49, July 1993.[12] Y. Guiard, M. Beaudouin-Lafon, J. Bastin, D. Pasveer, and S. Zhai. View size and pointing diculty in multi-scale navigation. pages 117–124, 2004.[13] S. Hart and L. Staveland. Development of nasa-tlx (task load index): Results of empirical and theoretical research. Advances in psychology, 52:139–183, 1988.[14] B. Hecht, M. Rohs, J. Scho ̈ning, and A. Kru ̈ger. Wikeye–using magic lenses to explore georeferenced wikipedia content. 2007.[15] N. Henze and S. Boll. Evaluation of an o↵-screen visualization for magic lens and dynamic peephole interfaces. pages 191–194, 2010.[16] H. Hong, G. Chunyu, L Brown, N. Ahuja, and J. Rolland. Using a head-mounted projective display in interactive augmented environments. In Augmented Reality, 2001. Proceedings. IEEE and ACM International Symposium on, pages 217–223, 2001.[17] F. Kerber, A. Kru ̈ger, and M. Lo ̈chtefeld. Investigating the e↵ectiveness of peephole interaction for smartwatches in a map navigation task. pages 291–294, 2014.[18] P. Klein, F. Muller, H. Reiterer, and M. Eibl. Visual information retrieval with the SuperTable + Scatterplot. Proceedings Sixth International Conference on Informa- tion Visualisation, (29232):70–75, 2002.[19] R. Kosara, H. Hauser, and D. Gresh. An interaction view on information visualiza- tion. State-of-the-Art Report. Proceedings of EUROGRAPHICS, 2003.[20] J. Lamping and R. Rao. Laying out and visualizing large trees using a hyperbolic space. pages 13–14, 1994.[21] V. Lampret and A. Cabada. A sharp double inequality for sums of powers. JIA- Journal of Inequalities and Applications, 2011:6, 2011.[22] K. Lee. Augmented reality in education and training. TechTrends, 56(2):13–21, 2012.[23] F. Liarokapis, I. Greatbatch, D. Mountain, Anil Gunesh, V. Brujic-Okretic, and J. Raper. Mobile augmented reality techniques for geovisualisation. pages 745–751, July 2005.[24] K. Lyons, D. Nguyen, D. Ashbrook, and S. White. Facet: A multi-segment wrist worn system. pages 123–130, 2012.[25] G. Mackinlay, J.and Robertson and S. Card. The perspective wall: Detail and context smoothly integrated. pages 173–176, 1991.[26] S. Mehra, P. Werkhoven, and M. Worring. Navigating on handheld displays: Dynamic versus static peephole navigation. ACM Trans. Comput.-Hum. Interact., 13(4):448– 457, December 2006.[27] P. Milgram and H. Colquhoun. A taxonomy of real and virtual world display inte- gration. Mixed reality: Merging real and virtual worlds, pages 5–30, 1999.[28] T. Miyashita, P. Meier, T. Tachikawa, S. Orlic, T. Eble, V. Scholz, A. Gapel, O. Gerl, S. Arnaudov, and S. Lieberknecht. An augmented reality museum guide. pages 103– 106, 2008.[29] T. Narumi, T. Kajinami, T. Tanikawa, and M. Hirose. Meta cookie. pages 143:1– 143:1, 2010.[30] P. Pirolli and R. Rao. Table lens as a tool for making sense of data. pages 67–80, 1996.[31] J. Rico and S. Brewster. Usable gestures for mobile interfaces: Evaluating social acceptability. In Proceedings of the SIGCHI Conference on Human Factors in Com- puting Systems, CHI ’10, pages 887–896, New York, NY, USA, 2010. ACM.[32] G. Robertson, M. Czerwinski, K. Larson, D. Robbins, D. Thiel, and M. van Dantzich. Data mountain: Using spatial memory for document management. pages 153–162, 1998.[33] G. Robertson and J. Mackinlay. The document lens. pages 101–108, 1993.[34] M. Rohs, R. Schleicher, J. Scho ̈ning, G. Essl, A. Naumann, and A. Kru ̈ger. Impact of item density on the utility of visual context in magic lens interactions. Personal Ubiquitous Comput., 13(8):633–646, November 2009.[35] S. Rose, D. Potter, and M. Newcombe. Augmented reality: A review of available augmented reality packages and. 2010.[36] F. Rumsey. Audio in multimodal applications. Journal of the Audio Engineering Society, 58(3):191–195, 2010.[37] M. Sarkar and M. Brown. Graphical fisheye views. Communications of the ACM, 37(12):73–83, 1994.[38] M. Sarkar, S. Snibbe, O. Tversky, and S. Reiss. Stretching the rubber sheet: A metaphor for viewing large layouts on small screens. pages 81–91, 1993.[39] G. Schall, J. Scho ̈ning, V. Paelke, and G. Gartner. A survey on augmented maps and environments: approaches, interactions and applications. Advances in Web-based GIS, Mapping Services and Applications, 9:207, 2011.[40] J. Stasko and E. Zhang. Focus+context display and navigation techniques for en- hancing radial, space-filling hierarchy visualizations. pages 57–65, 2000.[41] I. Sutherland. A head-mounted three dimensional display. pages 757–764, 1968. 77[42] Z. Szalav ́ari, D. Schmalstieg, A. Fuhrmann, and M. Gervautz. studierstube: An environment for collaboration in augmented reality. Virtual Reality, 3(1):37–48, 1998.[43] B. Thomas, B. Close, J. Donoghue, J. Squires, P. De Bondi, and W. Piekarski. First person indoor/outdoor augmented reality application: Arquake. Personal Ubiquitous Comput., 6(1):75–86, January 2002.[44] J. Vallino. Interactive augmented reality. 1998.[45] D. Wagner, T. Pintaric, F. Ledermann, and D. Schmalstieg. Towards massively multi-user augmented reality on handheld devices. 2005.[46] K. Yee. Peephole displays: Pen interaction on spatially aware handheld computers. pages 1–8, 2003.