DOSP-VHR-002747 | Het potentieel van adaptieve extended reality

PROBLEEMSTELLING Dankzij de huidige AI-revolutie breekt er een nieuw tijdperk aan binnen immersive storytelling in Extended Reality (XR) . Tijdens Show & Tell (PWO, 2017-2019) benadrukte het Immersive Lab al dat verdere ontwikkeling van Artificiële Intelligentie (AI) en computer-algoritmes nodig is om de narratieve flexibiliteit van de gebruiker verder te verbeteren (AP Hogeschool, 2019). Zo kan AI een belangrijke rol spelen in het ontwikkelen van nieuwe interactieve vertelvormen waarbij de verhaalwereld zich aanpast aan de gebruiker. De enorme groei van deze technologieën in de voorbije jaren maakt het mogelijk om de overstap van storytelling naar storyliving te maken. Hierbij maakt de gebruiker integraal deel uit van de VR-experience; zijn of haar ervaringen, gedragingen, reacties en uitkomsten worden een onderdeel van het verhaal (Vallance & Towndrow, 2022). Denk maar aan VR-werelden of verhaallijnen die zich aanpassen aan bepaalde keuzes die de gebruiker maakt. Bij storyliving “wordt” de deelnemer letterlijk het verhaal (Rubin et al., 2016), wat resulteert in een adaptieve XR-ervaring die telkens tot unieke gebruikerservaringen leidt. Binnen adaptieve XR zal de wereld in real-time worden aangepast op basis van verschillende interacties tussen de gebruiker en zijn omgeving. Het maken van zo’n adaptieve ervaring zal zorgen voor creatieve uitdagingen (overgang van storytelling naar storyliving), evenals technische (AI-modellen, hardware restricties) en user experience uitdagingen (UX, emoties). Op creatief vlak stelt adaptieve XR-content nieuwe uitdagingen voor de XR-producent, aangezien de kijkers hun eigen gezichtspunt, kijktijd en verhaallijn kunnen kiezen (Papathanasiou et al., 2022). Nieuwe storytellingtechnieken zijn dus essentieel om de transitie van storytelling naar storyliving mogelijk te maken. De game-industrie gebruikt al geavanceerde technieken om non-lineaire verhalen te vertellen en interactieve werelden te creëren. Verder toonden Paraschos en Koulouriotis (2023) in hun review aan dat adaptieve en gepersonaliseerde games voor een positieve ervaring zorgden. Deze methoden kunnen echter niet zomaar rechtstreeks worden overgenomen in Virtual Reality (Filmby Aarhus et al., 2019). Zo hebben belangrijke aspecten zoals sense of presence (het gevoel hebben dat men in de wereld aanwezig is, Foster et al. 2022), sense of agency (het gevoel hebben controle te hebben over het lichaam, Foster et al. 2022) en sense of embodiment (eigenschappen van het virtuele lichaam als het eigen lichaam zien, Kilteni et al. 2012) andere UX-toepassingen binnen gaming dan binnen VR. Neem bijvoorbeeld de pop-up keuzemenu’s die je vaak ziet terugkomen in games. In VR kunnen deze ervoor zorgen dat de gebruiker zich minder aanwezig voelt in de virtuele wereld, wat leidt tot een vermindering van het gevoel van presence. Verder onderzoek naar hoe we deze technieken kunnen toepassen op XR-content is dus essentieel.
Een belangrijk UX-onderdeel van storyliving is ook de emotionele reactie van deelnemers op het verhaal en hoe men deze kan meten. Het meten van de menselijke emotionele toestand is een uitdaging die onderzoekers binnen de psychologie al lang bezighoudt. Zo kan men via diverse methoden zoals vragenlijsten, gedragsobservaties en psychofysiologische maten accuraat mensen hun emotionele toestand meten (Mauss & Robinson, 2009; Ba & Hu, 2023). Door het meten en in kaart brengen van die individuele emotionele toestand kunnen we deze integreren in het verhaal. Zo kan men bijvoorbeeld het opwindingsniveau van mensen gaan inschatten op basis van hun hartslag en huidgeleiding. Op deze manier trachten we een gepersonaliseerde ervaring voor elke gebruiker te generen. Verder kan men onderzoeken, net zoals in de voorgaande gamingliteratuur, hoe deze veranderingen en interacties met de gebruiker zorgen voor een immersieve en persoonlijke ervaring in virtual reality. Er wordt onderzocht hoe schalen zoals sense of presence en sense of embodiment gecorreleerd zijn met adaptieve XR-werelden en/of bepaalde (positieve) emotionele reacties bij mensen opgewekt kunnen worden door de wereld op basis van hun emotionele toestand te laten veranderen. Op technisch vlak maken nieuwe generatieve AI-modellen, zoals Latent Consistency Models, het al mogelijk om snel en adaptief nieuwe content te generen (Luo et al., 2023), al zijn deze nog niet optimaal inzetbaar voor professionele XR-ervaringen. Verder is een volledig adaptieve XR-ervaring een aanzienlijke uitdaging door de beperkte kracht van de hardware, de beperkingen in de software en de nood aan real-time interacties. Deze beperkingen zorgen ervoor dat dergelijke ervaringen enorme optimalisaties vereisen voor de nodige software algoritmes die real-time adaptaties mogelijk maken. Het doel van dit onderzoek is om een nieuwe manier van storyliving binnen XR te ontwikkelen, door de parameters die cruciaal zijn voor storyliving in kaart te brengen en vervolgens hun effectiviteit te meten. Deze inzichten worden daarna verwerkt in een framework dat als basis dient voor de ontwikkeling van XR-ervaringen. Daarnaast wordt onderzocht hoe gepersonaliseerde ervaringen kunnen worden gecreëerd door onder meer de emotionele toestand van de gebruiker te meten. De output van dit onderzoek is interessant voor XR-producenten die o.a. actief zijn in de entertainment sector (storyliving), de technologische sector én de klinische sector (live meten en aanpassen van gemoedstoestand). De resultaten worden op het einde van het project gebundeld in een user manual en verspreid naar het werkveld.

ONDERZOEKSVRAAG

OV1: Welke nieuwe en bestaande storytellingtechnieken zijn essentieel voor de ontwikkeling van een adaptieve XR-ervaring om zo de parameters (bv. narratieve immersie) van storyliving in kaart te brengen? OV2: Hoe kunnen we op basis van persoonlijke input, zoals vragenlijsten, gedragsobservaties en psychofysiologische metingen (bv. galvanic skin response, heart rate en eye movements) een XR-ervaring aanpassen?
OV3: Welke invloed heeft adaptieve XR-content op de gebruiker en welke UX-parameters (bv. sense of presence, sense of embodiment) hebben het meeste invloed op hun ervaring?
OV4: Welke optimalisatietechnieken (bv. culling, DOTS, LODS, ...) zijn nodig om een real-time adaptieve XR-ervaring mogelijk te maken op de huidige hardware?

METHODE

Deskresearch: Best practices verzamelen. Meetinstrumenten voor user research in kaart brengen. Literatuurstudie naar de verschillende parameters binnen storyliving. Vergelijking maken van voor- en nadelen van de bruikbare tools voor het creëren van adaptieve ervaringen. Ontwikkelen van proof of concepts: 3 POC’s ontwikkelen – 2 eigen POC’s en 1 studentenproject – telkens gericht op het beantwoorden van meerdere onderzoeksvragen. Er wordt onderzocht hoe we adaptieve XR-ervaringen eenvoudig en laagdrempelig kunnen implementeren en hoe we AI hierbij kunnen betrekken. Op minstens 1 POC zal ook een user test worden uitgevoerd ter voorbereiding van het experiment in WP4 Experiment: Gebruikersonderzoek voor 1 POC in jaar 2. Via een experiment worden 1 of meerdere eigenschappen (bv verhaal, omgeving, interacties met objecten) van de XR-ervaring aangepast op basis van de gebruikersinput. Tijdens het experiment meten en evalueren we de invloed van de ervaring via zowel psychofysiologische maten (aandacht meten via eye tracking, hartslag meten via hardware) als zelfrapportering (vragenlijsten met gevalideerde meetschalen). Hiervoor zullen we minstens 30 personen per experimentele conditie testen.