온라인 두뇌 테스트, 정확할까? 신뢰도 연구

신뢰도란 무엇인지, 한 장면으로

50명이 오늘 같은 테스트를 하고 다음 주에 또 한다고 해볼게요. 오늘 점수가 높았던 사람이 다음 주에도 높고 낮았던 사람은 계속 낮다면 그 테스트는 믿을 만한 거예요. 연구자들은 이를 검사 재검사 계수로 요약해요. 흔히 급내상관계수를 쓰고, 순수한 오차면 0, 순위가 완벽하게 안정적이면 1이에요.

신뢰도는 일상적인 의미의 정확도와 달라요. 아주 믿을 만하면서도 좁은 것을 재는 테스트도 있어요. 하지만 믿을 만하지 않은 테스트는 한 사람에 대해 별로 말해줄 수 없어요. 내일 다시 하면 점수가 바뀔 테니까요.

과제별 신뢰도

아래 수치는 발표된 검사 재검사 연구에서 가져왔어요. 이 사이트의 게임과 형식이 모두 같지는 않아서 원형 과제 이름을 함께 적었어요.

과제	신뢰도	조건
단순 반응속도, 실험실	0.83	성인 48명, 매주 세 번 세션 (Woods et al., 2015b)
단순 반응속도, 개인 휴대폰	0.83	성인 55명, 매주 세 번 세션 (Van Patten et al., 2021)
go/no-go 오반응	0.76	실험실, 두 번 세션 (Hedge et al., 2018)
휴대폰 충동 조절 과제	0.68에서 0.80	시간, 그다음 종합 점수 (Van Patten et al., 2021)
휴대폰 작업 기억 과제	0.88	종합 점수, 3주 (Van Patten et al., 2021)
Trail Making A, 컴퓨터 버전	0.87	성인 50명, 세 번 세션 (Woods et al., 2015c)
코르시 블록 폭, 컴퓨터 버전	0.85	젊은 성인, 20분 간격 (Morawietz et al., 2024)
스트룹 비용	0.60과 0.66	실험실 연구 2편 (Hedge et al., 2018)
플랭커 비용	0.40과 0.57	실험실 연구 2편 (Hedge et al., 2018)

신뢰도의 역설

스트룹 효과와 플랭커 효과는 심리학에서 가장 확실한 결과 중 하나예요. 거의 모든 사람에게 나타나요. 바로 그게 한 사람을 잴 때의 문제예요. 모두가 거의 같은 효과를 보이면 사람 사이의 차이가 날마다의 오차에 비해 작아지고, 순위가 세션마다 유지되지 않아요.

헤지, 파월, 섬너는 고전 과제 일곱 가지를 테스트해서 0에서 0.82까지의 신뢰도를 얻었어요. 그렇게 널리 쓰이는 과제치고는 놀랄 만큼 낮았고, 측정이 나빠서가 아니라 사람 사이의 차이가 작아서라는 걸 보여줬어요 (Hedge et al., 2018). 점수를 매기는 앱에 주는 교훈은 단순해요. 안정적인 것만 점수로 매기고, 나머지는 게임으로 두기.

반응속도 테스트테스트 해보기, 20초, 가입도 쿠키도 없이

기기가 점수를 바꿔요

온라인 테스트는 아무도 통제하지 않는 기기에서 돌아가요. 일반적인 터치스크린은 50에서 200 ms의 지연을 더해요 (Van Patten et al., 2021). TestMyBrain.org 방문자 59,587명 중 모바일 기기, 특히 안드로이드 폰 사용자는 나이, 성별, 학력을 고려한 뒤에도 컴퓨터 사용자보다 반응속도 테스트에서 느렸어요 (Passell et al., 2021). 점수는 비슷한 기기에서 나온 점수와만 비교할 수 있어요.

연습이 처음 몇 세션을 부풀려요

테스트를 반복하면 점수가 올라요 (Scharfen et al., 2018a). 작업 기억 테스트 연구 68편에서 첫 세션과 두 번째 세션 사이의 상승 폭은 표준편차의 약 4분의 1이었고, 점수는 네 번째 세션까지 계속 올랐어요 (Scharfen et al., 2018b). 처음 몇 판 뒤에 점수가 크게 뛰었다면 대부분은 테스트에 익숙해진 거예요.

평균을 내면 큰 도움이 돼요. 스마트폰으로 짧은 테스트를 여러 번 한 성인 219명에서 평균 점수의 신뢰도는 0.97 이상으로, 실험실 평가와 견줄 만했어요 (Sliwinski et al., 2018).

Headgame가 이 모든 걸 반영하는 방법

카드는 그 자체의 신뢰도나 가까운 원형 과제의 신뢰도가 좋다고 알려진 과제만 점수로 매겨요. 단순 반응속도, 슐테 테이블, 시퀀스 기억, 침팬지 테스트, go/no-go예요. 스트룹과 플랭커는 자유 게임으로 남아요. 스탯마다 아침 한 번이 아니라 그 주의 가장 좋은 두 세션을 평균 내고, 앱은 화면 종류를 보정해요. 전체 방법은 과학 페이지에 있어요.