क्या ऑनलाइन ब्रेन टेस्ट सटीक होते हैं (Are Online Brain Tests Accurate)?

रिलायबिलिटी का मतलब, एक तस्वीर में

सोचिए 50 लोग आज एक टेस्ट देते हैं और अगले हफ़्ते फिर वही टेस्ट देते हैं। अगर आज ज़्यादा स्कोर करने वाले अगले हफ़्ते भी ज़्यादा स्कोर करें, और कम वाले कम ही रहें, तो टेस्ट भरोसेमंद है। रिसर्चर इसे टेस्ट रीटेस्ट कोएफ़िशिएंट से बताते हैं, अक्सर इंट्राक्लास कोरिलेशन, जो पूरे शोर के लिए 0 से लेकर पूरी तरह स्थिर रैंकिंग के लिए 1 तक जाता है।

रिलायबिलिटी रोज़मर्रा वाले मतलब में सटीकता नहीं है। एक टेस्ट बहुत भरोसेमंद होकर भी कोई छोटी सी चीज़ माप सकता है। लेकिन जो टेस्ट भरोसेमंद नहीं है, वह किसी एक इंसान के बारे में ज़्यादा कुछ नहीं बता सकता, क्योंकि कल दोबारा देने पर आपका स्कोर बदल जाएगा।

हर टास्क की रिलायबिलिटी

नीचे के आंकड़े पब्लिश्ड टेस्ट रीटेस्ट स्टडीज़ से हैं। ये सब इस साइट के गेम्स वाले फ़ॉर्मेट से नहीं हैं, इसीलिए मूल टास्क का नाम दिया गया है।

रिलायबिलिटी पैराडॉक्स

Stroop और Flanker इफ़ेक्ट साइकोलॉजी के सबसे पक्के नतीजों में से हैं। लगभग हर किसी में दिखते हैं। एक इंसान को मापने के लिए यही असली दिक्कत है। जब सबका इफ़ेक्ट लगभग एक जैसा हो, तो लोगों के बीच का फ़र्क रोज़ के शोर के मुकाबले छोटा होता है, और रैंकिंग एक सेशन से अगले सेशन तक टिकती नहीं।

Hedge, Powell और Sumner ने सात क्लासिक टास्क टेस्ट किए और 0 से 0.82 तक की रिलायबिलिटी पाई, जो इतने ज़्यादा इस्तेमाल होने वाले टास्क के लिए हैरानी की बात है। उन्होंने दिखाया कि इसकी वजह ख़राब माप नहीं बल्कि लोगों के बीच कम फ़र्क था (Hedge et al., 2018)। स्कोर देने वाले ऐप के लिए सबक सीधा है। जो स्थिर रहे उसे स्कोर करें, बाकी को गेम ही रहने दें।

आपका डिवाइस आपका स्कोर बदलता है

ऑनलाइन टेस्ट ऐसे हार्डवेयर पर चलते हैं जिसे कोई कंट्रोल नहीं करता। आम टचस्क्रीन 50 से 200 ms की लेटेंसी जोड़ती हैं (Van Patten et al., 2021)। TestMyBrain.org के 59,587 विज़िटर्स में मोबाइल डिवाइस वाले, ख़ासकर Android फ़ोन वाले, रिएक्शन टाइम टेस्ट में कंप्यूटर वालों से धीमे थे, उम्र, जेंडर और पढ़ाई का हिसाब रखने के बाद भी (Passell et al., 2021)। किसी स्कोर की तुलना सिर्फ़ मिलते जुलते डिवाइस पर लिए गए स्कोर से ही की जा सकती है।

प्रैक्टिस शुरुआती सेशन को बढ़ा देती है

टेस्ट दोहराने पर स्कोर बढ़ते हैं (Scharfen et al., 2018a)। वर्किंग मेमोरी टेस्ट की 68 स्टडीज़ में पहले से दूसरे सेशन तक का फ़ायदा लगभग एक चौथाई स्टैंडर्ड डेविएशन था, और स्कोर चौथे सेशन तक बढ़ते रहे (Scharfen et al., 2018b)। पहले कुछ गेम्स के बाद बड़ी छलांग ज़्यादातर इसलिए होती है क्योंकि टेस्ट जाना पहचाना हो जाता है।

औसत निकालना बहुत मदद करता है। जिन 219 वयस्कों ने अपने स्मार्टफ़ोन पर छोटे टेस्ट कई बार दिए, उनके औसत स्कोर की रिलायबिलिटी 0.97 या उससे ज़्यादा पहुंची, जो लैब असेसमेंट के बराबर है (Sliwinski et al., 2018)।

Headgame यह सब कैसे ध्यान में रखता है

कार्ड सिर्फ़ उन्हीं टास्क को स्कोर करता है जिनकी अपनी रिलायबिलिटी, या किसी करीबी मूल टास्क की रिलायबिलिटी, अच्छी मानी जाती है, यानी सिंपल रिएक्शन टाइम, Schulte grid, सीक्वेंस मेमोरी, चिंप टेस्ट और Go/No-Go। Stroop और Flanker फ़्री गेम्स रहते हैं। हर स्टैट हफ़्ते के आपके दो सबसे अच्छे सेशन का औसत है, कभी किसी एक सुबह का नहीं, और ऐप स्क्रीन के टाइप के हिसाब से सुधार करता है। पूरा मेथड साइंस पेज पर है।

स्रोत

1. Van Patten R., Iverson G.L., Muzeau M.A., VanRavenhorst-Bell H.A. (2021). Test-retest reliability and reliable change estimates for four mobile cognitive tests administered virtually in community-dwelling adults. Frontiers in Psychology 12, 734947. PMC8566921. doi.org/10.3389/fpsyg.2021.734947
2. Sliwinski M.J., Mogle J.A., Hyun J. et al. (2018). Reliability and validity of ambulatory cognitive assessments. Assessment 25(1), 14 to 30. PMC5690878. doi.org/10.1177/1073191116643164
3. Hedge C., Powell G., Sumner P. (2018). The reliability paradox. Behavior Research Methods 50(3), 1166 to 1186. PMC5990556. doi.org/10.3758/s13428-017-0935-1
4. Woods D.L., Wyma J.M., Yund E.W., Herron T.J. (2015). The effects of repeated testing, simulated malingering, and traumatic brain injury on high-precision measures of simple visual reaction time. Frontiers in Human Neuroscience 9, 540. PMC4637414. doi.org/10.3389/fnhum.2015.00540
5. Woods D.L., Wyma J.M., Herron T.J., Yund E.W. (2015). The effects of aging, malingering, and traumatic brain injury on computerized Trail-Making Test performance. PLoS One 10(6), e0124345. PMC4465490. doi.org/10.1371/journal.pone.0124345
6. Morawietz C. et al. (2024). Consistency of spatial ability performance in children, adolescents, and young adults. Frontiers in Psychology 15, 1365941. PMC10938598. doi.org/10.3389/fpsyg.2024.1365941
7. Passell E., Strong R.W., Rutter L.A. et al. (2021). Cognitive test scores vary with choice of personal digital device. Behavior Research Methods 53(6), 2544 to 2557. PMC8568735. doi.org/10.3758/s13428-021-01597-3
8. Scharfen J., Peters J.M., Holling H. (2018). Retest effects in cognitive ability tests, a meta-analysis. Intelligence 67, 44 to 66. doi.org/10.1016/j.intell.2018.01.003
9. Scharfen J., Jansen K., Holling H. (2018). Retest effects in working memory capacity tests, a meta-analysis. Psychonomic Bulletin and Review 25, 2175 to 2199. doi.org/10.3758/s13423-018-1461-6