利き酒で偶然正解する確率－問題の難易度を引き上げるには…

保険研究部主席研究員兼気候変動リサーチセンターチーフ気候変動アナリスト兼ヘルスケアリサーチセンター主席研究員篠原拓也

このレポートの関連カテゴリ

正月三が日が過ぎ、新年の仕事始めをしたという人も多いだろう。でも、お酒好きな人にとっては、もうしばらく、お屠蘇(とそ)気分を味わっていたい、というのが本音かもしれない。

お酒が好きな人でも、本格的な利き酒を経験したことがある人は、それほどいないだろう。日本では、有名な利き酒として、ワインのソムリエ試験のテイスティングや、日本酒の全国きき酒選手権大会などがある。

ワインのソムリエ試験の場合、ワインなど5種類の飲料をテイスティングしたうえで、銘柄を記述するとともに、ワインについて外観、香り、味わいをマークシートで回答する。まさにプロのソムリエとしての力量が試される。

日本酒の全国きき酒選手権大会は、7種類の日本酒を2回きき酒して、好みの順位を合わせるマッチング法という方法で、参加者が力量を競い合う。色による区別ができないように着色したグラスを用いて、参加者は味と香りだけを頼りに回答する。

そこまで本格的ではないにしても、もっと気軽に利き酒を楽しむ機会はある。

たとえば、居酒屋などのドリンクメニューには、地ビールや日本酒の「利き酒セット」が入っていることがある。注文すると、たいてい、3種類のお酒がグラスに入った状態で出され、「それぞれ、次の3つの銘柄うち、どのグラスのお酒がどれでしょう?　よく味わって、考えてみてください。」といった‘問題’に答えることとなる。このセットを注文して、仲間うちで盛り上がることもあるだろう。

◇偶然の正解があるために、利き酒の実力が見極められないことも

さて、3種類の利き酒をする場合、まったくお酒の素養がない人が適当に回答したものが、たまたま偶然に、すべて正解となることもある。こういう確率は、いったいどれくらいあるだろうか？

いまから50年以上前に出された本だが、「推計学のすすめ－決定と計画の科学」(佐藤信著, 講談社ブルーバックス, B-116)に、利き酒の正解確率についての話があるので、それを参考に考えてみたい。

まず、3種類のお酒の利き酒には、回答方法が何通りあるのか。これは、全部で3の階乗、つまり3×2×1で、6通りの回答がありうるということになる。まったくお酒の素養がない人は、この6通りの中から、どれか1つを適当に回答するはずだから、正解となるのは、6分の1、つまり16.666…パーセントとなる。

これは、サイコロを投げて「1」の目が出る確率と同じで、結構高い。このことは、もし、回答が正しかったとしても、「まったくお酒の素養がない人が適当に回答したところ、たまたま偶然に正解しただけ」という可能性が、そこそこの確率で混ざっていることを意味する。

数理統計学の検定では、確率について、「有意水準」というメルクマールを置く。そして、実際に生じた現象について、否定しようとしている仮説(帰無仮説という)に基づいて計算した発生確率が有意水準を下回った場合、帰無仮説を棄却する。

有意水準には、○○パーセントに設定するのが適切だとか、妥当だとかという、明確な基準はない。ただし、通常は、5パーセント。より厳格さが求められる場合は、1パーセントや、0.1パーセントといった、小さな水準に設定されることが一般的だ。

今回のケースでいうと、「回答者はお酒の素養がなく、お酒の飲み分けができない」という帰無仮説に対して、有意水準5パーセントで検定を行うと、偶然に正解する確率(16.666…パーセント)が有意水準を大きく上回っている。つまり、帰無仮説は棄却できず、「回答者はお酒の素養があるともないともいえず、お酒の飲み分けができるのかどうかわからない」という、困った事態となる。

この利き酒で、偶然に正解する確率の16.666…パーセントという水準は、高すぎるといえるだろう。この利き酒では、回答者の実力が見極められないことになる。

◇お酒の種類を増やせば、偶然正解の可能性は下がるが…

では、どうすればよいだろうか。誰でもすぐ思いつくことは、「お酒を、もう1種類増やして、4種類の利き酒とする」ということだろう。

こうすれば、回答方法は、4の階乗で24通り。偶然に正解する確率は、24分の1、つまり4.166…パーセントとなる。有意水準を5パーセントとすると、これを下回ることとなり、意味のある利き酒といえるはずだ。

しかし、有意水準を1パーセントとすると、まだ偶然に正解する確率が高いことは否めない。

それでは、もう1種類お酒を増やして、5種類の利き酒にしてはどうか。そうすれば、回答方法は、5の階乗で120通り。偶然に正解する確率は、120分の1、つまり0.833…パーセントとなる。有意水準を1パーセントとしても、十分意味のある利き酒になる。

でもそうすると、「5種類のお酒の違いなんて、素人(しろうと)にはわからないよ」「利き酒の試験や大会ではないのだから、そこまで本格的にやらなくてもよいのでは」といった声が出てきそうだ。

お店側にしても、せっかく利き酒セットを用意するのに、お酒の種類が増えて、値段が高くなれば、お客さんに注文してもらえなくなってしまう、という悩みがあるはずだ。

◇利き酒の実力を統計的に見極めるには

そこで、お店側としては、お酒の種類を増やさずに、利き酒の難易度を引き上げる必要が出てくる。

そのためのポイントは、お酒の種類はそのままにして、回答方法の数を増やすことにある。

実際に利き酒をするお酒の種類は3種類でも、回答者が選ぶ銘柄の選択肢を4つ用意すれば、回答方法は24通り(＝4×3×2)になる。選択肢を5つ用意すれば、60通り(＝5×4×3)に増やすことができる。銘柄の選択肢を6つにまで増やせば、回答方法は120通り(＝6×5×4)になる。すなわち、5種類のお酒について、5つの銘柄の選択肢から回答してもらう利き酒と、同じ数の回答方法となる。

これならば、偶然に正解する確率は、1パーセント未満。つまり、回答者の実力が問えるわけだ。

◇試験の難易度もこの方法で引き上げ可能だが…

この話は、利き酒にとどまらない。各種の資格試験や入学試験などで、マークシート方式で行われる回答選択型の問題でも、同じようなことが当てはまる。

たとえば、3つの選択肢が与えられいて、これらを重複なく、3つの回答に結びつけるような問題だと、偶然正解の確率は16.666…パーセントとなる。しかし、正解の回答に使われない選択肢を3つ加えて、選択肢の数を全部で6つにすれば、その確率は、1パーセント未満にできるわけだ。

受験者の立場からすれば、選択肢が増えるほど、回答の迷いも増える。このような問題は、「受験者の正確な知識を問う問題」と言えば聞こえはよいが、単に、「受験者をふるいにかけるための問題」と言えるかもしれない。通常、こういう問題は、受験者の負担感が増すばかりで、あまり良問とは言えないだろう。

回答選択型の問題で、選択肢の数を増やすことは、難易度を高めるための有効な手段ではあるが、こういう手段をむやみに使えば、受験者の迷いや負担感を高めてしまう。

今年も間もなく、大学入学共通テストをはじめ、さまざまな学校で入学試験の時期が到来する。

利き酒と同様、受験者の実力をはかる良問作りは、簡単ではないと思われるが、いかがだろうか。