「有意差」があるない？の話

実験レポートなどをレビューしていて、よく指摘することに、「有意な差があった」「有意な効果があった」などの表現があります。

有意差とは、そもそも統計学の用語の一つで、統計的有意差検定を行わず、「有意に」や「有意差がある」ということは不適切です。その他に、比較するものが正しい比較対象になっているか、母数は十分かなども考慮する必要があります。そのため、単に見た目の数字に差があるからと言って、安易に「有意に」という表現をしてしまうと、誤った解釈をしてしまう恐れがあります。すなわち、結果に差が出たとき、その差が「誤差の範囲内」なのか「誤差では済まされない意味のある差」なのかを、本来であれば統計的に明らかにする必要があります。ただし、医薬品の効能を確認や、学術論文や学会発表を主眼としているわけではないので、時間や手間の加減から、データのバラツキや差の大小を比較して、感覚的に差の有無を判断してしまうことが多いのが事実です。

よって、統計的な検討を行っていないのに、「有意に」という表現は使うべきではなく、部下には削除するように求めます。また、データやレポートをレビューし判断する側としては、「誤差の範囲かもしれない」と頭に置いて、次のアクションや実験プランを考える必要があります。

「”統計的に有意差なし”もうやめませんか」Natureに科学者800人超が署名して投稿」(参照：https://www.itmedia.co.jp/news/articles/1903/26/news112.html)

最近、このタイトルの記事を読み、改めて考えさせられました。この記事によると、「有意差がない＝効果がない」と間違った推論をする論文がかなり多く、調査した5つの論文誌(791文献)のうち、51％に誤りがみられたと言っています。
本来であれば、「有意差がない＝2群に有意差があるとはいえない」としか言えないはずです。多くの有意差検定の場合、帰無仮説として2群は等しいという説を棄却することで、2群に有意な差があるという結果を導き出します。帰無仮説が棄却されなかったからといって、「帰無仮説＝正しい」となるわけではありません。

改めて、仕事に当てはめると、仮に有意差検定を実施して、有意差が認められなくても、効果がないと判断して完全に排除してはいけないと思いました。例えば、誤差を生む何かを制御することで、本来あるはずの効果が隠れているかもしれなかったり、母数を増やすことで効果が顕著になったりするかもしれません。