DOSP-VHR-002625 | Embodiment in XR: enhancing the illusion of the virtual body by multisensorial stimuli

Probleemschets

Tijdens Show & Tell (PWO-project AP Hogeschool, 2017-2019) bracht het Immersive Lab al verschillende storytelling-technieken in kaart. Om de gebruiker zich meer verbonden te laten voelen met zijn virtuele lichaam, is embodiment de volgende essentiële stap binnen immersive storytelling. Embodiment kan je dan ook beschrijven als 3 gevoelens (‘senses’) die bij de gebruiker opgewekt worden: sense of presence, sense of agency en sense of body ownership. Om deze ‘senses’ te implementeren, maak je gebruik van diverse zintuiglijke stimuli. Dit is nog grotendeels onontgonnen terrein (Flavián et al., 2021). Het technologisch landschap biedt echter veel verschillende sensoriële toestellen aan (zoals biometrische en haptische feedback van Tesla Suit en Gloves, de integratie van onze reukzin via Olorama Sent, fullbody-tracking van OptiTrack-opstellingen), maar de combinatie van deze apparatuur en hoe deze ingezet kunnen worden, blijft onbeantwoord.

Het financiële prijskaartje, de beperkte toegang tot innovatieve apparatuur en beperkte knowhow blijven dus grote struikelblokken voor kmo's om embodied XR-ervaringen te ontwikkelen (Magnor & Sorkine-Hornung 2020; Ritter & Chambers 2022; Park & Kim 2022; Mystakidis 2022). XR-producenten missen kennis rond enerzijds het toepassen van embodiment in XR en anderzijds de impact van diverse multisensoriële stimuli op de immersie van de gebruiker. Ondanks deze struikelblokken blijft het potentieel van embodiment zeer hoog in sectoren zoals o.a. de gezondheidszorg, de kunsten en de entertainmentsector. Denk aan hoe een virtueel lichaam, waarbij ‘sense of body ownership’, de lichaamsperceptie kan manipuleren en vervolgens pijn kan verminderen (Matamala-Gomez, 2019).

Binnen de kunsten kan embodiment ingezet worden om de immersie te bevorderen en de kijkers in staat stellen diverse lichamen of perspectieven te ervaren door de ‘sense of agency’. Daarnaast kan embodiment bijdragen bij het verbeteren van storytelling binnen de entertainmentsector. Door ‘sense of presence’ kan de gebruiker zich op een dieper niveau identificeren met de wereld en meer immersie voelen voor zijn personage en/of de gebeurtenissen in de XR-ervaring.

Binnen dit onderzoeksproject wordt onderzocht hoe multisensoriële technieken de embodiment en immersie van de gebruiker kunnen versterken in XR-ervaringen. Hiervoor wordt stilgestaan bij welke laagdrempelige manieren er bestaan om multisensoriële ervaringen aan te bieden, hoe je embodiment en immersie op een betrouwbare manier kan meten, en wat de relaties zijn tussen diverse variabelen. Deze inzichten worden gebundeld in een toolkit die verspreid zal worden naar het werkveld.

Onderzoeksvragen

OV1: Hoe kunnen multisensoriële technieken in XR op een laagdrempelige manier worden aangeboden aan de gebruiker? OV2: Welke invloed hebben zintuiglijke prikkels (zoals geur en tast) op embodiment en immersie van gebruikers in XR? OV3: Hoe kunnen we de relaties tussen zintuiglijke prikkels, embodiment en immersie in XR-ervaringen betrouwbaar meten en evalueren via zowel zelf-rapportering (bijv. vragenlijsten) als psychofysiologische maten (bijv. eye tracking, galvanic skin response, heart rate variability)?

Methodologie

1. Deskresearch (WP2):

• Best practices verzamelen;
• Meetinstrumenten voor user research in kaart brengen;
• Vergelijking maken van voor- en nadelen van dure en laagdrempelige infrastructuur.

2. Ontwikkelen van proof of concepts (POC’s) (WP3): Er worden 2 POC’s ontwikkeld (i.c. 1 voor een bestaande XR-ervaring en 1 voor een nieuwe XR-ervaring) waarbij er telkens andere zintuiglijke stimuli zullen worden gemanipuleerd. De POC’s zullen samen met de klankbordgroep worden bepaald. Er wordt onderzocht hoe bestaande multisensoriële XR-ervaringen laagdrempelig geïmplementeerd kunnen worden.

3. User research (WP4): Gebruikersonderzoek voor 2 POC’s – 1 POC op het einde van jaar 1 en 1 POC op het einde van jaar 2. Via experimenten wordt de aanwezigheid van de zintuiglijke prikkels tussen 2 of meer experimentele condities gemanipuleerd. Tijdens de experimenten meten en evalueren we embodiment en immersie van gebruikers via zowel zelfrapportering (bijv. vragenlijsten met gevalideerde meetschalen) als psychofysiologische maten (bijv. eye tracking om aandacht te meten, galvanic skin response om opwinding te meten).

BEOOGDE RESULTATEN

1. Overzicht van best practices

2. White paper met betrekking tot dure en laagdrempelige infrastructuur.

3. 2 POC's

4. Toolkit ter ondersteuning van XR-bedrijven bij de ontwikkeling van meer immersieve en embodied XR-ervaringen voor gezondheidszorg, kunst en entertainment. Dankzij onze evidence-based toolkit verlagen we de drempel voor XR-producenten om multisensoriële technieken toe te passen op XR-producties, zodat het gevoel van embodiment van de gebruiker kan verhogen en er immersievere ervaringen kunnen ontstaan.