オンラインの脳テストは正確なのか、信頼性の研究

信頼性とは何か、ひとつのイメージで

50人が今日と来週、同じテストを受けるところを想像してください。今日スコアが高かった人が来週も高く、低かった人が低いままなら、そのテストは信頼できます。研究者はこれを再検査係数でまとめます。多くは級内相関係数で、純粋なノイズなら0、順位が完全に安定していれば1です。

信頼性は、ふだんの意味での正確さとはちがいます。とても信頼できるのに、ごく狭いものしか測っていないテストもあります。けれども信頼できないテストは、ひとりの人についてほとんど何も教えてくれません。明日もう一度受けたらスコアが変わってしまうからです。

課題ごとの信頼性

下の数字は、発表された再検査研究からとったものです。すべてがこのサイトのゲームと同じ形式というわけではないので、元の課題の名前を示しています。

課題	信頼性	条件
単純反応時間、実験室	0.83	成人48人、週1回3セッション (Woods et al., 2015b)
単純反応時間、自分のスマホ	0.83	成人55人、週1回3セッション (Van Patten et al., 2021)
Go/No-Goのお手つきエラー	0.76	実験室、2セッション (Hedge et al., 2018)
スマホでの衝動コントロール	0.68から0.80	時間、次に総合スコア (Van Patten et al., 2021)
スマホでのワーキングメモリ	0.88	総合スコア、3週間 (Van Patten et al., 2021)
Trail Making A、コンピューター版	0.87	成人50人、3セッション (Woods et al., 2015c)
コルシ・ブロック範囲、コンピューター版	0.85	若い成人、20分間隔 (Morawietz et al., 2024)
ストループコスト	0.60と0.66	実験室研究2件 (Hedge et al., 2018)
フランカーコスト	0.40と0.57	実験室研究2件 (Hedge et al., 2018)

信頼性のパラドックス

ストループ効果とフランカー効果は、心理学でもっとも確かな結果のひとつです。ほぼ全員にこの効果が出ます。それこそが、ひとりの人を測るうえでの問題です。全員がほぼ同じ効果を示すと、人と人の差は日々のノイズにくらべて小さくなり、セッションごとに順位が保たれません。

ヘッジ、パウエル、サムナーは7つの古典的課題を調べ、0から0.82という信頼性を見つけました。これほど広く使われている課題としては意外なほど低い値です。そして、その原因は測定のまずさではなく、人と人のあいだのばらつきの小ささにあることを示しました (Hedge et al., 2018)。スコアをつけるアプリへの教訓は単純です。安定するものをスコアにし、残りはゲームとして楽しむことです。

反応速度テストテストをプレイ, 20秒, アカウントもクッキーも不要

端末でスコアが変わる

オンラインのテストは、だれも管理していない機器の上で動きます。一般的なタッチスクリーンは50から200 msの遅延を加えます (Van Patten et al., 2021)。TestMyBrain.orgを訪れた59,587人では、年齢、性別、学歴を考慮しても、モバイル端末、とくにAndroidスマホの人はパソコンの人より反応速度テストで遅い結果でした (Passell et al., 2021)。スコアは、似た端末でとったスコアとしかくらべられません。

練習は最初のセッションをかさ上げする

テストをくり返すとスコアは上がります (Scharfen et al., 2018a)。ワーキングメモリのテストを扱った68の研究では、1回目から2回目の伸びは標準偏差の約4分の1で、スコアは4回目まで上がりつづけました (Scharfen et al., 2018b)。最初の何回かで大きく伸びるのは、ほとんどがテストに慣れたためです。

平均をとることは大いに役立ちます。スマホで短いテストを何度も受けた成人219人では、平均スコアの信頼性が0.97以上に達し、実験室での評価にひけをとりませんでした (Sliwinski et al., 2018)。

Headgameはこれをどう考慮しているか

カードがスコアにするのは、それ自体、または近い元の課題の信頼性が高いとわかっている課題だけです。単純反応時間、シュルテのグリッド、シーケンス記憶、チンパンジーテスト、Go/No-Goです。ストループとフランカーはフリープレイのままです。各ステータスはひと朝ではなく、その週のベスト2セッションを平均し、アプリは画面の種類を補正します。方法の全体はサイエンスのページにあります。