DOSP-VHR-002862 | Better Esports Analytics for Teams

PROBLEEMSTELLING

Gameplay metrics kunnen helpen om beter inzicht te krijgen in het gedrag van spelers (Sifa, Drachen, and Bauckhage 2018) of voorspellingsmodellen te bouwen (Hsieh and Sun 2008). Tot enkele jaren terug was het moeilijk om deze data te gebruiken. Replay en log bestanden moeten per videogame geanalyseerd worden en tools moeten gebouwd worden met specifieke videogames in gedachten.

Charleer et al. (2018) suggereerde een gestandaardiseerd formaat voor videogame metrics. Het bedrijf GRID Esports nam dit idee verder op en bouwde een infrastructuur uit die data van de belangrijkste esports videogames, zoals Counter-Strike: Global Offensive, League of Legends en VALORANT, omzet naar een real-time stream in een gestandaardiseerd formaat die kan gebruikt worden voor bv. real-time visualisaties bij wedstrijduitzendingen. Hun Open Platform laat externe partijen toe nieuwe oplossingen te ontwikkelen rond de data.

Real-time dashboards voor esports kijkers helpen de gebruikers inzicht te krijgen in het gedrag van de spelers en het verloop van het spel (Charleer, Gerling, et al. 2018). Echter blijkt dat veel kijkers deze wedstrijden bekijken om hun eigen vaardigheden te verbeteren. Professionele esports spelers kunnen eveneens baat hebben bij gedetailleerde analyses van hun speelstijl, hun team en de competitie (Levy, Charleer, and Wright 2022).

In februari 2023 startte GRID samen met Riot Games dan ook het VALORANT Data Portal, wat esports teams toegang geeft tot data van de VALORANT Championship Tour en privé “scrims” (testwedstrijden tussen teams).

Hoe deze data aan de gebruiker (esports speler, manager,…) moeten aangeboden worden en op welke manieren hier het meeste impact mee gecreëerd kan worden (bv. verstrekken van nieuwe inzichten, verbeteren van tactieken, spotten van nieuwe spelers, voorspellingen die helpen bij belangrijke keuzes voor en tijdens wedstrijden,…) is echter nog niet duidelijk voor GRID. Uit preliminaire gesprekken met de industrie blijkt ook dat het gebruik van deze data momenteel gelimiteerd is en teams niet de nodige tools hebben om dit ten volle te benutten.

Hier hebben we met BEAT dus de opportuniteit om in te spelen op een reële onderzoeksnood, en tegelijkertijd samen te werken met één van de grootste spelers in esports data wereldwijd. Op basis van onze expertise in analytics en dashboards (videogames, learning analytics), games user research en UX design, willen we onderzoeken hoe we de kloof tussen de bestaande data en de noden van esports teams kunnen verkleinen.

ONDERZOEKSVRAGEN

OV1: Wat is de huidige staat van esports teams, en welke tools en game metrics hebben zij momenteel tot hun beschikking?

OV2: Wat zijn de noden en doelen van esports teams met betrekking tot game metrics?

OV3: Welke ontwerpkeuzes zorgen voor een ondersteuning en verbetering van de werking van esports teams a.d.h.v. game metrics?

METHODOLOGIE

A.d.h.v. een literatuurstudie en gesprekken met esports bedrijven bekijken we de huidige bestaande tools en literatuur. Om een idee te krijgen over de beschikbare game metrics data en metadata bekijken we het Open Platform van GRID Esports en hun VALORANT Data Portal. Verder voeren we gebruikersstudies uit, waarbij we esports teams bestuderen door middel van surveys, diepte-interviews en observaties vóór, tijdens en na wedstrijden.

De resultaten van de gebruikersstudies in combinatie met de voorafgaande analyse helpen ons de noden en wensen van esports teams beter in te schatten qua haalbaarheid en mogelijke impactwaarde. Op basis hiervan, en in samenspraak met de teams prioriteren we de use cases voor onze ontwerpfase.

Voor de gekozen use cases maken we initiële papieren prototypes waar verder op gewerkt wordt tijdens co-design sessies. Hierop volgt een iteratieve ontwerpfase waar ontwerpen (van schetsen tot interactieve prototypes) worden afgetoetst bij de gebruikers d.m.v. eye-tracking en retrospective think-aloud studies en semi-structured interviews.

De resultaten worden dan geëvalueerd “in-the-wild”, waar de prototypes worden uitgerold voor expert gebruikers (esports teams) en gebruikt tijdens real-life scenario’s. Naast de resulterende prototypes wordt het volledige proces beschreven en de bevindingen in een serie ontwerprichtlijnen verwerkt.

We extrapoleren onze “lessons learnt” naar andere esports games en teams.

GEPLANDE RESULTATEN

Als resultaat zal dit onderzoek:

1. een overzicht geven van de noden en doelen van esports teams met betrekking tot game metrics,
2. ontwerprichtlijnen voor oplossingen die gebruik maken van game metrics om esports teams te ondersteunen, en
3. prototypes van oplossingen die kunnen gebruikt worden door esports teams en als basis kunnen dienen voor verdere ontwikkeling (voor industrie partners of als spin-off).

Daarnaast zal ons onderzoek ook als basis dienen om het nut te bewijzen van het GRID Esports Open Data platform en VALORANT Data Platform voor esports teams.

We dienen de resultaten in bij een of meerdere internationale conferenties zoals CHI PLAY, FDG, CHI en DiGRA. We zullen ons ook opgeven als spreker op industrie events zoals Game Developer Conference, Esports Research Network Conference en Game UX Summit.