「統計的有意差」なんて、もう止めませんか？
科学的根拠（エビデンス）がある治療法というとき、それは臨床試験において「統計的有意差」があるかどうかによって決められます。それは、試験をした２つの群を比較して、P値といわれる統計量が5%以下ならば、両群には統計的に有意に差がある、しかし5%以上ならば有意差がないとしてその治療法は捨て去られます。
そうした傾向に対して、100人の科学者が署名入りで、イギリス科学論文誌「ネイチャー」に声明を出しました。彼らの声明によると、調査した論文の約半数が「統計的有意差」を誤って使用しており、これは科学にとって深刻な損害をもたらすと述べています。
「統計的有意差がある＝薬効がある」なら「統計的有意差がない＝薬効がない」と考えてしまいそうだが、声明ではこのように有意差がない場合、「“差がない”あるいは“関係がない”といった結論をしてはいけない」としている。
問題はP値が有意水準より大きい場合だ。この場合、帰無仮説を棄却できないが、帰無仮説が正しいことも示していない。結果、「2群に有意差があるとはいえない」というあいまいな表現になる。
しかし、声明では「有意差がない＝効果がない」と間違った推論をする論文も少なくないと指摘。実際に調べたところ、5つの論文誌・791文献のうち51％に誤りがみられたという。
声明では「（あるないの二分法ではなく）統計の不確実性を受け入れる必要がある」とした上で、「（統計的有意差ではなく）信頼区間を使うべきだ」と指摘。
このブログでも、過去に同じ問題を取り上げています。
P値と「統計的有意差」の有無だけを判断の基準とすることに対して、ずっと以前から世界的権威のある医学誌が論文で注意を促しているのです。
1978年New England Journal of Medicine (NEJM)に特別論文が掲載され、統計的な有意差がないために「Negative」とされた71編の臨床試験の結果のうち、点推定値と区間推定値で示すと、実は「Positive」な影響があったと思えるものが多数あることが分かったとし、βエラーを考慮することの重要性を強調しています。
この論文は、医学雑誌の論文の書き方に関する本にも引証され、統計的な有意差がないことと影響がないことを混同してはならないこと、それを防ぐためには点推定値と区間推定値で示すことの重要さが強調されてきました。
日本でも、尾藤誠司氏（東京医療センター臨床研修科医長）が『バルサルタン問題に思う ～「桃の誘惑」にご用心～』として、日経メディカルに投稿しています。
また、こうした“P値信仰”ともいうべき風潮に関して、米国統計学会は2016年3月に声明を発表しました。「Statisticians issue warning over misuse of P values」（Nature. 2016;531:151.）この声明の中では、「科学的な結論、ならびにビジネスや政策上の判断は、P値が特定の閾値を超えるかどうかだけに基づいてなされてはならない」とはっきりと述べられています。
「統計的有意差がない＝効果がない」ではなく、ましてや「科学的根拠がない」でもないのですが、統計学的には有意でなかったとしても、臨床試験の結果の傾向を見れば、この患者さんには適応できるのではないか、というような解釈ができることもあるはずです。
その意味では治療はすべて「人体実験」でしょう。統計やP値に振り回されないことです。
「統計とは、ごくわずかの違いしかないときに、相手を説得する技術である」
関連記事
