Zijn online breintests betrouwbaar?

Wat betrouwbaarheid betekent, in één beeld

Stel je 50 mensen voor die vandaag dezelfde test doen en volgende week nog een keer. Als wie vandaag hoog scoorde volgende week ook hoog scoort, en de lage scores laag blijven, dan is de test betrouwbaar. Onderzoekers vatten dat samen met een test-hertestcoëfficiënt, vaak een intraklassecorrelatie, van 0 voor pure ruis tot 1 voor een volkomen stabiele rangorde.

Betrouwbaarheid is niet hetzelfde als nauwkeurigheid in de gewone betekenis. Een test kan heel betrouwbaar zijn en toch iets smals meten. Maar een test die niet betrouwbaar is, kan weinig zeggen over één persoon, want je score zou veranderen als je hem morgen opnieuw deed.

Betrouwbaarheid per taak

De getallen hieronder komen uit gepubliceerde test-hertest-studies. Ze hebben niet allemaal hetzelfde formaat als de spelletjes op deze site, en daarom staat de verwante taak erbij.

De betrouwbaarheidsparadox

Het Stroop-effect en het flanker-effect horen bij de meest robuuste resultaten in de psychologie. Bijna iedereen vertoont ze. Dat is precies het probleem als je één persoon wilt meten. Als iedereen bijna hetzelfde effect heeft, zijn de verschillen tussen mensen klein vergeleken met de ruis van dag tot dag, en houdt de rangorde niet stand van de ene sessie naar de volgende.

Hedge, Powell en Sumner testten zeven klassieke taken en vonden betrouwbaarheden van 0 tot 0,82, verrassend laag voor zulke veelgebruikte taken, en lieten zien dat dit kwam door weinig variatie tussen mensen en niet door slecht meten (Hedge et al., 2018). De les voor een app die scores geeft, is eenvoudig. Scoor wat stabiel blijft, houd de rest als spelletjes.

Je apparaat verandert je score

Online tests draaien op hardware die niemand controleert. Gewone aanraakschermen voegen 50 tot 200 ms latentie toe (Van Patten et al., 2021). Bij 59.587 bezoekers van TestMyBrain.org waren mensen op mobiele apparaten, vooral Android-telefoons, trager op reactietests dan mensen op een computer, ook na correctie voor leeftijd, geslacht en opleiding (Passell et al., 2021). Een score is alleen te vergelijken met scores op vergelijkbare apparaten.

Oefening blaast de eerste sessies op

Scores stijgen als je een test herhaalt (Scharfen et al., 2018a). Over 68 studies naar werkgeheugentests was de winst van de eerste naar de tweede sessie ongeveer een kwart standaarddeviatie, en de scores bleven stijgen tot de vierde sessie (Scharfen et al., 2018b). Een grote sprong na je eerste potjes betekent vooral dat de test vertrouwd wordt.

Middelen helpt veel. Bij 219 volwassenen die vaak korte tests op hun smartphone deden, haalden de gemiddelde scores een betrouwbaarheid van 0,97 of meer, vergelijkbaar met metingen in het lab (Sliwinski et al., 2018).

Hoe Headgame hier rekening mee houdt

De kaart scoort alleen taken waarvan de eigen betrouwbaarheid, of die van een nauw verwante taak, bekend goed is, eenvoudige reactietijd, de Schulte-tabel, het reeksgeheugen, de chimpansee-test en go/no-go. Stroop en flanker blijven vrije spelletjes. Elke waarde middelt je twee beste sessies van de week, nooit één enkele ochtend, en de app corrigeert voor het type scherm. De volledige methode staat op de wetenschapspagina.

Bronnen

1. Van Patten R., Iverson G.L., Muzeau M.A., VanRavenhorst-Bell H.A. (2021). Test-retest reliability and reliable change estimates for four mobile cognitive tests administered virtually in community-dwelling adults. Frontiers in Psychology 12, 734947. PMC8566921. doi.org/10.3389/fpsyg.2021.734947
2. Sliwinski M.J., Mogle J.A., Hyun J. et al. (2018). Reliability and validity of ambulatory cognitive assessments. Assessment 25(1), 14 to 30. PMC5690878. doi.org/10.1177/1073191116643164
3. Hedge C., Powell G., Sumner P. (2018). The reliability paradox. Behavior Research Methods 50(3), 1166 to 1186. PMC5990556. doi.org/10.3758/s13428-017-0935-1
4. Woods D.L., Wyma J.M., Yund E.W., Herron T.J. (2015). The effects of repeated testing, simulated malingering, and traumatic brain injury on high-precision measures of simple visual reaction time. Frontiers in Human Neuroscience 9, 540. PMC4637414. doi.org/10.3389/fnhum.2015.00540
5. Woods D.L., Wyma J.M., Herron T.J., Yund E.W. (2015). The effects of aging, malingering, and traumatic brain injury on computerized Trail-Making Test performance. PLoS One 10(6), e0124345. PMC4465490. doi.org/10.1371/journal.pone.0124345
6. Morawietz C. et al. (2024). Consistency of spatial ability performance in children, adolescents, and young adults. Frontiers in Psychology 15, 1365941. PMC10938598. doi.org/10.3389/fpsyg.2024.1365941
7. Passell E., Strong R.W., Rutter L.A. et al. (2021). Cognitive test scores vary with choice of personal digital device. Behavior Research Methods 53(6), 2544 to 2557. PMC8568735. doi.org/10.3758/s13428-021-01597-3
8. Scharfen J., Peters J.M., Holling H. (2018). Retest effects in cognitive ability tests, a meta-analysis. Intelligence 67, 44 to 66. doi.org/10.1016/j.intell.2018.01.003
9. Scharfen J., Jansen K., Holling H. (2018). Retest effects in working memory capacity tests, a meta-analysis. Psychonomic Bulletin and Review 25, 2175 to 2199. doi.org/10.3758/s13423-018-1461-6