DOSP-VHR-002981 | The Color of Language - The Language of Color

Kunstenaars creëren werk dat door het publiek wordt geïnterpreteerd binnen een andere context. In visuele poëzie gebeurt dit onder andere met witruimte, typografie en kleur. In performance poëzie gebeurt dit door analoge en/of digitaal vervormde stem (klankkleur, toonhoogte, volume). Hybride of XR kunst introduceert de gebruiker in vooraf gedefinieerde "belevingscontexten" met aandacht voor user experience (UX) en gebruikersomgeving (UI: user interface). Deze 'human-machine-interaction' (HMI) en/of 'human-technology-interaction' (HTI) zorgen ervoor dat de gebruiker een engagement (interactie) kan aangaan met de gebruikte technologie.

Diverse machine learning tools zijn ontwikkeld die spraak omzetten naar tekst. In dit onderzoeksproject wil ik manieren vinden waarop speech-to-text bijdraagt aan een immersieve live visual poetry performance ervaring, hoe dit kan bijdragen aan interactie tussen performer, publiek en omgeving, en hoe speech-to-text AI publiek en performers kan laten interageren in hiervoor gecreëerde performance locaties.

Hiervoor wil ik exposities, performances en evenementen bezoeken die deze technologieën al gebruiken. Deze in kaart brengen, testen met als doel verschillende parameters of uitvoerende variabelen te gebruiken die als Proof of Concept (POC) in poetry performances worden voorgesteld, onder andere tijdens het afsluitende evenement van het UTM-project in het planetarium op de Heizel, maar ook in de Lange Zaal tijdens ARTiculate 2024.

Video’s van de performances en lezingen. Online dagboek. Scrum resultaten op UTM-website.

Een artikel voor een conferentie en/of wetenschappelijk tijdschrift. Een POC-voorstelling hiervan tijdens het eindevenement van UTM in het Planetarium op de Heizel en een in de Lange Zaal tijdens Articulate 2024 met publieksbevraging.