研究や実験で複数のグループを比較する際、統計的な差があるかどうかを明らかにする多重比較は欠かせない分析手法です。しかし、その結果を論文やレポートでどのように表現すれば、読者に正確かつ効果的に伝わるのか悩む方も多いのではないでしょうか。多重比較の結果は、単に「有意差があった」と述べるだけでは不十分です。
どの群間にどのような差が見られたのか、どのような手法を用いてその結論に至ったのかを、明確に記述する必要があります。
本記事では、多重比較の基本的な考え方から主要な手法の選び方、そして論文やレポートで結果を記述する具体的な方法までを徹底的に解説します。統計的な知見を正確に伝え、あなたの研究の信頼性を高めるための実践的なコツをお伝えします。
ポチップ
ポチップ
ポチップ
多重比較結果の書き方とは？なぜ重要なのか
多重比較とは、3つ以上のグループ（群）の平均値などを比較し、どのグループ間に統計的に意味のある差があるのかを特定するための統計手法です。例えば、3種類の治療法（A, B, C）の効果を比較したい場合、単純にAとB、AとC、BとCのように2群ずつのt検定を繰り返すと、「多重性の問題」と呼ばれる課題が生じます。
これは、検定を繰り返すほど、実際には差がないのに偶然「差がある」と誤って判断してしまう確率（第一種の過誤）が高まる現象です。
この多重性の問題を解決し、全体の誤判断率を一定の水準に保つために、多重比較法が用いられます。多重比較の結果を正確に記述することは、研究の信頼性を確保し、読者があなたの結論を適切に理解するために極めて重要です。不適切な報告は、誤解を招いたり、研究の価値を損ねたりする可能性もあります。
多重比較の基本と「多重性の問題」
統計的仮説検定では、通常、有意水準α（アルファ）を0.05（5%）に設定することが一般的です。これは、帰無仮説（差がないという仮説）が正しいにもかかわらず、誤って棄却してしまう確率を5%に抑えるという意味です。しかし、3つのグループ間で3回のt検定を行う場合、それぞれの検定で5%の誤判断リスクがあるため、全体として少なくとも1回誤って有意差を検出してしまう確率は、1-(1-0.05)3 ≒ 14.3%に上昇します。
このように、検定の回数が増えるにつれて、偶然による誤った有意差の検出リスクが累積的に高まるのが多重性の問題です。多重比較法は、このリスクを制御するために、個々の検定の有意水準を調整したり、特別な統計量を用いたりすることで、全体の第一種の過誤率を所定の水準に保つことを目的としています。
正確な報告が求められる理由
多重比較の結果を正確に報告することは、研究の透明性と再現性を高める上で不可欠です。研究者がどのような統計手法を用い、どのような基準で結論を導き出したのかを明確にすることで、他の研究者がその結果を検証したり、自身の研究に応用したりすることが可能になります。また、結果の解釈に誤解が生じることを防ぎ、研究の信頼性を担保するためにも、詳細かつ正確な記述が求められます。
特に、医学や薬学などの分野では、治療法の効果や副作用に関する判断に直結するため、統計結果の報告には細心の注意が必要です。
多重比較の主要な手法とその選び方
多重比較には様々な手法があり、それぞれに特徴と適用条件があります。研究の目的、データの性質（正規性、等分散性など）、比較したい群の組み合わせに応じて、適切な手法を選ぶことが重要です。ここでは、代表的な多重比較法とその選び方について解説します。
- ボンフェローニ補正：シンプルだが保守的な方法
- ホルム法：ボンフェローニ法の検出力を高めた方法
- テューキーのHSD法：全ての群間比較に広く用いられる方法
- ダネット検定：対照群との比較に特化した方法
- シェッフェ法とゲームズ・ハウエル法：柔軟な対比と等分散性の仮定
- FDR（False Discovery Rate）制御：大規模データ解析での活用
- 適切な手法を選ぶコツ
ボンフェローニ補正：シンプルだが保守的な方法
ボンフェローニ補正は、最もシンプルで理解しやすい多重比較法の一つです。この方法は、元の有意水準αを比較回数mで割ることで、個々の検定の有意水準を厳しく調整します（α’ = α / m）。例えば、有意水準0.05で3回の比較を行う場合、各検定の有意水準は0.05/3 ≒ 0.0167となります。
利点は、計算が簡単で、どのような種類の検定にも適用できる汎用性の高さです。しかし、比較回数が多くなると個々の検定の有意水準が非常に厳しくなり、実際に存在する差を見逃してしまう可能性（第二種の過誤、検出力の低下）が高まるという欠点があります。そのため、比較回数が少ない場合に特に適しています。
ホルム法：ボンフェローニ法の検出力を高めた方法
ホルム法（Holm-Bonferroni法とも呼ばれます）は、ボンフェローニ補正の検出力の低さを改善した方法です。この手法では、まず各比較のp値を小さい順に並べ、最も小さいp値から順に段階的に有意水準を調整していきます。具体的には、k番目に小さいp値に対して、α / (m – k + 1) という有意水準を適用します。
ボンフェローニ補正よりも検出力が高く、より多くの真の差を検出できる可能性があります。計算手順はボンフェローニ補正よりやや複雑ですが、手計算でも実施可能です。多くの統計ソフトウェアに実装されており、比較回数が多い場合でも比較的使いやすい手法として推奨されます。
テューキーのHSD法：全ての群間比較に広く用いられる方法
テューキーのHSD（Honest Significant Difference）法は、一元配置分散分析後に、全ての群間の組み合わせについて平均値の差を比較する際によく用いられる手法です。この方法は、群のサイズが等しい場合に特に高い検出力を持ち、等分散性が仮定されるデータに適しています。
テューキーのHSD法は、スチューデント化された範囲の分布を利用して、全てのペアワイズ比較における第一種の過誤率を制御します。結果は、どの群間に有意差があるかを明確に示してくれるため、多くの研究で採用されています。
ダネット検定：対照群との比較に特化した方法
ダネット検定は、複数の処理群と一つの対照群（コントロール群）を比較する目的で設計された多重比較法です。例えば、新しい薬の効果を評価する際に、プラセボ群（対照群）と複数の異なる用量の薬を投与した群（処理群）を比較する場合などに適しています。
この検定は、対照群との比較に特化しているため、処理群同士の比較には不向きです。対照群との比較において、テューキーのHSD法よりも高い検出力を持つことが知られています。研究デザインに対照群が含まれる場合は、ダネット検定の利用を検討すると良いでしょう。
シェッフェ法とゲームズ・ハウエル法：柔軟な対比と等分散性の仮定
シェッフェ法は、全ての可能な線形対比（群の平均値の任意の組み合わせ）を評価できる、非常に柔軟で保守的な多重比較法です。分散分析で有意差が認められた後に、特定の仮説にとらわれずに探索的に群間差を調べたい場合に有効です。しかし、その柔軟性ゆえに検出力は低めであり、他の手法で有意差が見られない場合でも、シェッフェ法ではさらに有意差が出にくい傾向があります。
一方、ゲームズ・ハウエル法は、等分散性の仮定が満たされない場合（分散が均一でない場合）に用いられる多重比較法です。ウェルチ検定と組み合わせて使用されることが多く、テューキーのHSD法が適用できない状況で、全てのペアワイズ比較を行いたい場合に有効です。
FDR（False Discovery Rate）制御：大規模データ解析での活用
FDR（False Discovery Rate）制御は、特に大規模なデータ解析、例えば遺伝子発現解析などで数千から数万もの比較を行う場合に有効な多重比較法です。FWER（Family-Wise Error Rate：家族全体での誤判断率）が「少なくとも1つの第一種の過誤を犯す確率」を制御するのに対し、FDRは「棄却された帰無仮説のうち、実際に誤って棄却されたものの割合」を制御します。
FDR制御は、FWER制御よりも検出力が高く、多くの真の差を検出できる可能性があります。偽陽性の数をある程度許容しつつ、全体としての偽発見の割合を低く抑えたい場合に適しています。ベンジャミニ・ホーチバーグ法（Benjamini-Hochberg法）が代表的なFDR制御手法として知られています。
適切な手法を選ぶコツ
多重比較法を選ぶ際は、以下の点を考慮すると良いでしょう。
- 研究の目的：全ての群間を比較したいのか（例：テューキーHSD、ホルム法）、特定の対照群と他の群を比較したいのか（例：ダネット検定）、あるいは特定の仮説に基づいた対比を調べたいのか（例：シェッフェ法）。
- データの性質：データが正規分布に従うか、等分散性が仮定できるか。これらの前提条件が満たされない場合は、ノンパラメトリックな手法（例：スティール・ドゥワス法）や、等分散性を仮定しないパラメトリックな手法（例：ゲームズ・ハウエル法）を検討します。
- 比較回数：比較回数が少ない場合はボンフェローニ補正も選択肢になりますが、多い場合はホルム法やFDR制御の方が検出力を維持しやすいです。
これらの要素を総合的に判断し、あなたの研究に最も適した多重比較法を選択することが、正確な結果報告への第一歩となります。
論文やレポートでの多重比較結果の書き方
多重比較の結果を論文やレポートで効果的に伝えるためには、単に統計量を羅列するだけでなく、その意味するところを明確に記述することが求められます。ここでは、本文、表、グラフにおける具体的な書き方について解説します。
結果の記述における基本原則
多重比較の結果を記述する際は、以下の基本原則を意識しましょう。
- 使用した手法の明記：どの多重比較法（例：テューキーのHSD法、ホルム法）を用いたかを必ず記載します。
- 統計量の提示：F値、自由度、p値（調整済みp値）など、主要な統計量を報告します。
- 有意水準の明記：どの有意水準（例：α = 0.05）で判断したかを記載します。
- 具体的な群間差の記述：どの群とどの群の間に有意差があったのかを具体的に述べます。
- 結果の解釈：統計的な有意差が、研究の文脈においてどのような意味を持つのかを簡潔に説明します。
これらの要素を網羅することで、読者はあなたの分析が適切に行われたことを理解し、結果の信頼性を評価できます。
本文での記述例：有意差があった場合となかった場合
本文では、多重比較の結果を簡潔かつ明確に記述します。以下に記述例を示します。
有意差があった場合
「一元配置分散分析の結果、3つの治療群間で有意な差が認められた（F(2, 27) = 5.89, p = 0.007）。事後検定としてテューキーのHSD法を用いた多重比較を行ったところ、治療A群は治療B群と比較して有意に高い効果を示した（p = 0.012）。一方、治療A群と治療C群の間、および治療B群と治療C群の間には有意な差は認められなかった（それぞれ p = 0.085, p = 0.451）。
」
このように、どの検定で全体的な差を評価し、どの多重比較法で個別の群間差を特定したのかを明確に記述します。具体的なp値も併記することで、結果の透明性が高まります。
有意差がなかった場合
「一元配置分散分析の結果、3つの教育方法間で有意な差は認められなかった（F(2, 42) = 1.23, p = 0.302）。念のため、ホルム法を用いた多重比較を行ったが、いずれの群間においても統計的に有意な差は確認されなかった（全ての調整済みp値 > 0.05）。」
有意差がなかった場合でも、使用した多重比較法を明記し、その結果を報告することが重要です。「有意差なし」という結果も、研究の重要な知見となり得ます。
表での表現方法：統計量とp値の記載
多重比較の結果を表で示すと、複数の群間比較の結果を一覧で分かりやすく提示できます。表には、比較した群の組み合わせ、平均値、標準偏差、そして調整済みp値などを記載します。以下に表の構成例を示します。
| 比較群 | 平均値の差 | 標準誤差 | t値 | 調整済みp値 (Holm法) | 有意差 (α=0.05) |
|---|---|---|---|---|---|
| 治療A vs 治療B | 5.2 | 1.8 | 2.89 | 0.012 | * |
| 治療A vs 治療C | 3.1 | 1.7 | 1.82 | 0.085 | |
| 治療B vs 治療C | -2.1 | 1.9 | -1.11 | 0.451 |
表の注釈には、使用した多重比較法と有意水準を明記します。また、有意差があった場合にアスタリスク（*）などの記号を付与し、その意味を説明すると視覚的に分かりやすくなります。調整済みp値を記載することで、多重性の問題が適切に処理されていることを示せます。
グラフでの視覚的な伝え方：有意差を示す記号やレター
グラフは、多重比較の結果を直感的に理解してもらうための強力なツールです。棒グラフや箱ひげ図などを用いて各群の平均値や分布を示し、有意差があった群間に記号やレターを付加することで、視覚的に結果を伝えることができます。
- 有意差を示す記号：有意差のある群間にアスタリスク（*）や「#」などの記号を線で結んで示す方法があります。例えば、p < 0.05 なら *、p < 0.01 なら **、p < 0.001 なら *** のように使い分けます。
- レター（文字）による表示：各群の平均値の上に異なるアルファベット（a, b, cなど）を付与し、同じレターを持つ群間には有意差がなく、異なるレターを持つ群間には有意差があることを示す方法も一般的です。例えば、「a」と「b」のレターを持つ群間には有意差があり、「ab」と「a」のレターを持つ群間には有意差がない、といった具合です。
グラフの凡例やキャプションには、使用した多重比較法と記号の意味を必ず記載しましょう。視覚的な表現は、複雑な統計結果を分かりやすく伝える上で非常に有効です。
使用した統計ソフトウェアと手法の明記
論文やレポートでは、多重比較を含む全ての統計解析にどのソフトウェア（例：R, SPSS, Python, JASP）を使用したか、そして具体的にどのパッケージや関数を用いたかを明記することが求められます。これは、研究の再現性を保証するために不可欠な情報です。
例えば、「統計解析にはRソフトウェア（バージョン4.2.1）を用い、多重比較にはmultcompパッケージのglht関数（ホルム法）を適用した。」のように記述します。使用したソフトウェアと手法を詳細に記述することで、あなたの研究の透明性と信頼性がさらに高まります。
多重比較結果を報告する際の注意点
多重比較の結果を報告する際には、いくつかの重要な注意点があります。これらを意識することで、より正確で信頼性の高い報告が可能になります。
前提条件の確認と報告
多くの多重比較法は、データの正規性や等分散性といった特定の前提条件を仮定しています。例えば、テューキーのHSD法は等分散性を仮定します。これらの前提条件が満たされない場合、検定結果の信頼性が損なわれる可能性があります。
そのため、多重比較を行う前に、必ず前提条件の確認（例：シャピロ-ウィルク検定で正規性、ルビーン検定で等分散性）を行い、その結果を報告することが重要です。前提条件が満たされない場合は、ノンパラメトリックな多重比較法や、等分散性を仮定しないパラメトリックな手法（例：ゲームズ・ハウエル法）の利用を検討し、その選択理由も明確に記述しましょう。
検出力と第一種・第二種過誤のバランス
多重比較法は、第一種の過誤（実際には差がないのに「差がある」と判断してしまう誤り）を制御するために、個々の検定の有意水準を厳しく設定します。しかし、これにより第二種の過誤（実際には差があるのに「差がない」と見逃してしまう誤り、検出力の低下）のリスクが高まる可能性があります。
特にボンフェローニ補正のように保守的な手法では、この検出力の低下が顕著になることがあります。研究の目的や分野に応じて、第一種過誤と第二種過誤のどちらをより厳しく制御すべきかを考慮し、適切な手法を選択することが重要です。結果の解釈においても、検出力の限界について言及すると、より慎重な報告となります。
結果の解釈における過度な一般化の回避
多重比較で統計的に有意な差が認められたとしても、それが直ちに実質的な意味を持つとは限りません。統計的有意差は、あくまで偶然では説明できない差が存在することを示すものであり、その差の大きさや臨床的・実用的な重要性は別途考察する必要があります。
また、分析対象となった特定のサンプルや条件下での結果であることを認識し、過度に一般化された結論を導かないよう注意が必要です。結果の解釈では、統計的知見と合わせて、その分野の専門知識に基づいた考察を深めることが求められます。
よくある質問
- 多重比較をしないとどうなりますか？
- 分散分析と多重比較はどちらを先に行うべきですか？
- p値の調整とは具体的にどういうことですか？
- ノンパラメトリックな多重比較法にはどのようなものがありますか？
- 多重比較の結果をExcelでまとめるコツはありますか？
- 多重比較の結果が全て有意差なしだった場合、どのように報告すれば良いですか？
多重比較をしないとどうなりますか？
多重比較を行わずに、3つ以上の群間で2群ずつのt検定を繰り返すと、「多重性の問題」により第一種の過誤（誤って有意差を検出する確率）が累積的に増加します。例えば、有意水準5%で10回の比較を行うと、少なくとも1回は偶然に有意差が出る確率が約40%にもなります。これにより、実際には差がないのに「差がある」と誤った結論を導き出すリスクが非常に高まります。
分散分析と多重比較はどちらを先に行うべきですか？
伝統的には、まず分散分析（ANOVA）で全体として群間に有意差があるかを確認し、有意差があった場合にのみ、どの群間に具体的な差があるかを調べるために多重比較（事後比較、post-hoc test）を行うという進め方が一般的です。しかし、研究の目的が最初から特定の群間差の検出である場合は、分散分析を行わずに直接多重比較法を適用するアプローチも可能です。
p値の調整とは具体的にどういうことですか？
p値の調整とは、多重比較によって第一種の過誤率が上昇するのを防ぐために、個々の検定で得られたp値を補正するプロセスです。例えば、ボンフェローニ補正では、元のp値に比較回数を掛けるか、あるいは元の有意水準を比較回数で割ることで、より厳しい判断基準を適用します。これにより、多重比較全体での第一種の過誤率を所定の水準に制御します。
ノンパラメトリックな多重比較法にはどのようなものがありますか？
データが正規分布に従わない場合や、順序尺度データである場合など、パラメトリック検定の前提条件が満たされない場合には、ノンパラメトリックな多重比較法が用いられます。代表的なものとしては、全ての群間比較に用いられるスティール・ドゥワス法や、対照群との比較に用いられるスティール法などがあります。
多重比較の結果をExcelでまとめるコツはありますか？
Excelで多重比較の結果をまとめる際は、比較した群の組み合わせ、各群の平均値と標準偏差、そして調整済みp値を明確に記載した表を作成するのがコツです。有意差があった場合には、アスタリスクなどの記号をp値の横に付記し、その意味を表の注釈で説明すると分かりやすくなります。また、条件付き書式を使って有意差のあるセルを色分けするのも視覚的に有効です。
多重比較の結果が全て有意差なしだった場合、どのように報告すれば良いですか？
多重比較の結果が全て有意差なしだった場合でも、その事実を正直に報告することが重要です。使用した多重比較法と有意水準を明記し、「多重比較の結果、いずれの群間においても統計的に有意な差は認められなかった（全ての調整済みp値 > 0.05）。」のように記述します。この結果は、特定の要因が群間に差をもたらさないという重要な知見となり得ます。
まとめ
- 多重比較は、3つ以上の群間の統計的有意差を特定する手法です。
- 多重性の問題は、繰り返し検定による第一種の過誤の増加を指します。
- ボンフェローニ補正はシンプルですが検出力が低い傾向があります。
- ホルム法はボンフェローニ法より検出力が高い改良版です。
- テューキーのHSD法は全ての群間比較に広く使われます。
- ダネット検定は対照群との比較に特化しています。
- シェッフェ法は柔軟ですが検出力が低めです。
- ゲームズ・ハウエル法は等分散性を仮定しない場合に有効です。
- FDR制御は大規模データ解析で偽発見率を制御します。
- 適切な手法選びは研究目的とデータ性質によります。
- 本文では使用手法、統計量、p値、具体的な差を記述します。
- 表では比較群、平均値の差、調整済みp値を一覧で示します。
- グラフでは有意差を記号やレターで視覚的に伝えます。
- 使用した統計ソフトウェアと手法は必ず明記します。
- 前提条件の確認と報告は結果の信頼性に不可欠です。
- 検出力と過誤のバランスを考慮した解釈が求められます。
- 結果の過度な一般化は避け、慎重な考察が必要です。
新着記事
ポチップ
ポチップ
ポチップ
