正解: BCorrect: B
多数の検定を行うと偶然の有意差が生じるため、有意水準の補正か、独立したデータでの再現確認が必要です。Running many tests produces false positives by chance, so the significance threshold must be adjusted or the result replicated on independent data.
有意水準5%とは「効果がなくても5%の確率で有意と判定される」という意味です。独立した20回の検定を行えば、少なくとも1回が偶然有意になる確率は約64%に達します。この問題は多重比較と呼ばれ、多数の仮説から有意なものだけを報告する行為は p値ハッキングの一種です。2015年に Open Science Collaboration が心理学論文100本の再現を試みて4割程度しか再現できなかった「再現性の危機」の背景にも、この慣行があります。選択肢Aは p値を効果の確実性と誤解し、Cは「有意でない」を「効果がない」と誤読し、Dは手法を放棄する極端な反応です。対策は Bonferroni 補正などで閾値を厳しくする、仮説を事前登録する、新しいデータで再テストすることです。A 5 percent significance level means that even with no real effect, a test will be declared significant 5 percent of the time. With 20 independent tests, the probability that at least one is significant by chance is about 64 percent. This is the multiple-comparisons problem, and reporting only the significant results from many hypotheses is a form of p-hacking. The practice contributed to the replication crisis highlighted in 2015 when the Open Science Collaboration reproduced only around 40 percent of 100 psychology findings. Option A misreads the p-value as certainty of effect. Option C wrongly equates non-significance with no effect. Option D abandons the method entirely. Remedies include stricter thresholds such as Bonferroni correction, preregistering hypotheses, and retesting the significant element on fresh data.
多重比較の補正を厳しくしすぎると、本当に効果のある要素まで見逃す偽陰性が増え、改善のスピードが落ちます。事業の現場では、統計的な厳密さと迅速な意思決定のバランスをどう取るかが常に問題になり、成果を求められるチームほど偶然の当たりを疑いません。Overly strict corrections for multiple comparisons increase false negatives, causing genuinely effective changes to be missed and slowing improvement. In business, the tension between statistical rigor and speed of decision-making is constant, and teams rewarded for 'wins' have little incentive to report null results or to question a lucky positive finding.
テストの前に検証する仮説と成功基準を登録し、探索的に見つかった効果は「仮説生成」として扱って別データで確認テストを行います。効果量と信頼区間を併記し、p値だけでなく「事業として意味のある大きさか」で判断する文化を育てます。Register hypotheses and success criteria before testing, and treat effects discovered exploratorily as hypothesis-generating, to be confirmed on separate data. Report effect sizes and confidence intervals alongside p-values, and build a culture that asks whether an effect is large enough to matter for the business. Log every test, including null results, in a shared repository.