サンプルサイズの無視insensitivity to sample size

数値を示されると弱い

たとえば…: ダイエット成功率90％と聞いて、その大手スポーツジムに入会したが、それは特別コースを選択して且つコース修了まで残ったやる気のある10名の中の成功率だったことを後から知った（そのジムの入会者は5000名）

仮に、あなたがスマートフォンを買い替えるとして、いま機種Xと機種Yが候補としてあがってきました。迷っていたところ、これらの機種に関して、1年以内に持ち込まれる不具合の件数（修理件数）が分かりました。機種Xは4件、機種Yは20件とのことです。

(1)あなたはどちらの機種を選びますか。

Xを選ぶ
Yを選ぶ
決められない

(2)上記を選択した理由を教えてください。

(　　　　　　　　) から

例題では、修理の件数に着目すると、機種Xの4件を選択したほうがよさそうです。しかし、ここでは数値が「件数」で提示されていることに注意が必要です。もし対象となる販売台数が、機種Xで20台、機種Yで200台だったとしたら、その修理の「率」は機種Xで20％、機種Yで10％ということになります。

これまで様々な場面で、サンプルサイズが正しく提示されていないにも関わらず、例えば「年々○○の件数が増加」あるいは「○○％の人が効果を実感」などと聞いて、実際には増加していないにも関わらず増加しているように思ってしまったり、あるいは、その数値につられて実際に商品を購入してしまったということはないでしょうか。私たちは「数値」を示されたことに安心して、サンプルサイズに目を向けないまま、その結果を鵜呑みにしてしまうことがあるようです。これは、サンプルサイズの無視と呼ばれています。

この現象に関して、トベルスキーとカーネマンは（大数の法則をもじって）少数の法則(The Law of Small Numbers)と呼んでいます。そこでは、サンプルサイズが小さいと、大きい場合よりも極端なケースが発生しやすくなる、ということも指摘されています。