医療統計学における紅茶の実験

漫然と実験すると解析する際に本質的情報が欠けていることに気付いてデータ全体が無駄になることもあります。

実験計画法の始まりについては，次のようなエピソードが知られています。

ティーの席での話題として，ミルクティーを作るときにミルクを先にカップに入れたのか，紅茶を先にカップに入れたのかを，飲んでみれば見分けられるという女性の話が出たときに，多くの学者が化学的には差がないのだから見分けられるわけがないとか，いや見分けられるかもしれないとかいい論争していました。

そうした中，実験してみれば？　といったのがフィッシャーでした。

どちらを先にして作ったのかを知らせずに，この女性にミルクティーを飲んでもらって当てさせてみれば，本当にミルクティー判別能力があるのかわかるというのです。

しかし，1度だけ試して当たっただけでは偶然かもしれないので，何度か繰り返して試さなくてはいけません。

それに，ミルクが先という場合だけで試すと，偶々片方だけ言い続けた人が全問正解してしまうことになるので，両方の条件を試さなくてはいけません。

つまりは，どういう順番で何回試してみれば，得られた結果からその女性にミルクティー判別能力があるのかが判定できるような条件を考える必要があります。

この条件を考える方法のことを実験計画法と呼び，何度繰り返さなくてはいけないかがサンプルサイズの設計に当たり，どういう順番で試すかが試験配置法に当たります。

サンプルサイズの設計

ミルクを先に入れて作ったミルクティーを1杯飲んだとき，まったくの山勘で答えると，ミルクが先と答えるか紅茶が先と答えるかは確率1/2なので，偶然当たってしまう確率が1/2もあることになります。

2杯飲んだときに2杯とも当てる確率を考えると，当たりを○，外れを×と表記すると，○○，○×，×○，××が等確率で起こるので1/4となります。1/4というのはそれほど珍しいことではないので，2杯では，どういう結果が出ようがミルクティー判別能力があるのかどうか判定できません。

では，最低何杯試したらいいのでしょうか。

ある水準より多く偶然当たる確率が0.05未満のときに，それはありえないことと判断して，偶然ではない（＝ミルクティー判別能力がある）と結論できるとすると，3杯試して偶然で全て当たる確率は1/8，4杯では1/16，5杯では1/32となるので，最低5杯は試す必要があることになります。

このとき，0.05という判断基準（有意水準）は，裏を返せば，本当は差がないけれども間違って差があると判定してしまう確率になるので，第一種の過誤といいます。