DOSP-VHR-002748 | (Door)ontwikkeling afwijkende toelatingsprocedures voor graduaten en bachelors

Probleemschets

Het project TPG 2.0 (2022) ontwikkelde en testte een uitgebreidere vragenpool voor drie van de vier toetsen van de Vlaanderen brede afwijkende toelatingsproef voor graduaatsopleidingen (TPG). Deze vragenpool werd gebruikt bij de toetsafname van TPG van mei tot november 2023. Uit de toets statistieken bleek dat het slagingspercentage voor de TPG daalde van 70% naar 60%. Daarvoor zijn verschillende verklaringen mogelijk:

De nieuwe TPG-items zijn niet valide of betrouwbaar en dat vertekent de scores van studenten.

De TPG op basis van de nieuwe itempool is daadwerkelijk moeilijker.

De samenstelling van de groep kandidaat-studenten verandert en dit is gerelateerd met het slagingspercentage op TPG. Er is bijvoorbeeld een groter aantal kandidaat-studenten dat de TPG voor een tweede keer aflegt.

Om te achterhalen welke hypothesen een verklaring bieden, is bijkomend onderzoek noodzakelijk. Enerzijds moet de validiteit en betrouwbaarheid van items in de nieuwe itempool worden nagegaan. Anderzijds zijn historische analyses nodig op de vier cohorten studenten die TPG reeds aflegden.

Verder hoeft het dalende slaagcijfer op de TPG niet noodzakelijk een negatieve connotatie te hebben. Immers niet elke kandidaat-student die in het hoger onderwijs instroomde via TPG bleek ook succesvol op het einde van het eerste jaar. De combinatie van een lager slagingspercentage op de TPG in combinatie met betere studieprestaties in het hoger onderwijs van geslaagde studenten betekent immers dat de toets accurater selecteert. Dit kan echter enkel worden nagegaan door predictieve analyses voor studiesucces uit te voeren op het huidige cohort van geslaagde studenten voor TPG en die resultaten te vergelijken met eerder uitgevoerde analyses op twee eerdere cohorten.

Onderzoeksvragen

Daartoe zetten we een derde iteratie in het TPG onderzoek op en pakken daarin volgende onderzoeksvragen aan:

OV1: Wat is de betrouwbaarheid en validiteit van de itempool voor de verschillende toetsen in de TPG?

OV2: Welke tendensen zijn er zichtbaar in de samenstelling van de groep deelnemers aan de TPG? Zijn de verschillen over de cohorten heen significant?

OV3a: Zijn de gemiddelde scores (studieprestaties) van studenten die instromen via TPG op het einde van het eerste jaar hoger onderwijs, vergelijkbaar met de scores van studenten die instromen op basis van hun diploma?

OV3b: Is het percentage verworven credits (studierendement) van studenten die instromen via TPG op het einde van het eerste jaar hoger onderwijs, vergelijkbaar met het percentage van studenten die instromen op basis van hun diploma?

OV4: In welke mate verklaren achtergrondkenmerken van studenten mee eventuele verschillen in studieprestaties en studierendement tussen studenten die instromen via TPG en studenten die instromen op basis van hun diploma?

OV5: In welke mate voorspellen toetsen uit de TPG studieprestaties en studierendement?

Methodologie

Voor het beantwoorden van de eerste onderzoeksvraag zullen we IRT-analyses uitvoeren op de itempool. Deze geven een indicatie van de spreiding van moeilijkheid van de items alsook de inhoudsvaliditeit. Om de betrouwbaarheid van de items in kaart te brengen zullen we per toets de cronbach alpha berekenen als maat voor interne consistentie.

Voor het beantwoorden van de tweede onderzoeksvraag zullen we de achtergrondgegevens die kandidaat-studenten geven bij de afname van de TPG analyseren. We zullen de gegevens voor de 4 cohorten studenten samenvoegen. We zullen tendensen verkennen door ze te visualiseren. Om de significantie van tendensen na te gaan, maken we gebruik van kruistabellen en chi kwadraattesten of van ANOVA analyses, waarbij we significantietesten en testen voor effectgrootte uitvoeren.

Voor het beantwoorden van de derde en vierde onderzoeksvraag koppelen we de toetsprestaties op de TPG van kandidaat-studenten met studiesuccesgegevens en achtergrondkenmerken die we bij de hogescholen opvragen. We voeren voorspellende analyses uit met toegangskanaal als voorspeller en studieprestaties of studierendement als afhankelijke variabele. We maken gebruik van lineaire regressieanalyses en voeren zowel significantietesten als testen naar de effectgrootte uit. In een tweede stap nemen we achtergrondkenmerken als extra voorspellers mee en analyseren hoe deze extra voorspellers het significantieniveau en de effectgroottes beïnvloeden.

Voor het beantwoorden van de laatste vraag voeren we lineaire regressieanalyses uit met de score op toetsen uit de TPG als voorspeller en studieprestaties of studierendement als afhankelijke variabelen. We analyseren daarbij zowel het significantieniveau als de effectgrootte.

GEPLANDE RESULTATEN

Op basis van de resultaten formuleren we (beleids)aanbevelingen. Deze schrijven we, samen met de onderzoeksresultaten, neer in een onderzoeksverslag.

We presenteren de resultaten en aanbevelingen op de stuurgroep voor de TPG. De verdere disseminatie vertrekt vanuit de stuurgroep.