D-ペニシラミンとプラセボの全死亡ハザード比(Cox回帰)の森林プロット。未調整HR 1.06(95%信頼区間 0.75–1.50)、調整後HR 0.87(0.61–1.26)。例示用の同等性マージン0.80–1.25を網掛けで表示。

有意差とは|「有意差なし」の意味と論文での書き方・報告例文

有意差とは、統計的検定で得られたP値が、あらかじめ決めておいた有意水準(通常は0.05)を下回ったことを表す言葉です。差の大きさや臨床的な重要性を示すものではありません。また、「有意差なし」は「差がない」と同じ意味ではありません。有意差なしとは、データが「差はゼロ」という仮説と両立する、という意味にすぎず、通常はそれ以外の範囲の効果とも両立しています。有意差なしの結果は、推定値と95%信頼区間を示し、その区間がなお否定していない効果の大きさを述べて報告します。事前に決めたマージンで同等性検定を行っていない限り、「効果なし」とは書きません。本記事では、実在するランダム化比較試験のデータ(R、survival::pbc、n = 312)を使い、信頼区間を「関心のある最小の効果量」と照らして読む方法を示し、Results・Abstractの英文例と、日本語の結果の文例を紹介します。

本記事が扱うのは、有意差・有意差なしの解釈と書き方です。P値の定義とASA声明の6原則はP値の正しい解釈、95%信頼区間の意味と計算方法は信頼区間の解釈、第1種・第2種の過誤は第1種・第2種の過誤、サンプルサイズの計画はサンプルサイズと検出力分析で解説しています。ここでは繰り返さず、リンクでご案内します。

1. 「有意差」が実際に意味すること|有意水準・P値・有意差の違い

多くの論文では、P値が解析の前に決めたしきい値α(ほとんどの場合0.05)を下回ったときに、結果を「統計学的に有意」と呼びます。このしきい値の由来について、Cochrane Handbookは率直に述べています。

「0.05というしきい値は恣意的なものであり、P値が、検定統計量を統計分布の特定のパーセント点の表と比較して求められていたことが主な理由で、医学・心理学の研究で広く使われるようになった」(Cochrane Handbook v6.5、第15章、筆者訳)

原文:”the 0.05 threshold is an arbitrary one that became commonly used in medical and psychological research largely because P values were determined by comparing the test statistic against tabulations of specific percentage points of statistical distributions”

米国統計協会(ASA)のP値に関する声明(Wasserstein & Lazar, 2016)の6原則のうち、とくに本記事に関わるのは次の2つです(全6原則は上記のP値の記事をご覧ください)。

  • 「科学的結論やビジネス・政策上の判断は、P値が特定のしきい値を超えたかどうかだけに基づくべきではない」(原則3、筆者訳)。原文:”Scientific conclusions and business or policy decisions should not be based only on whether a p-value passes a specific threshold.”
  • 「P値、すなわち統計的有意性は、効果の大きさや結果の重要性を測るものではない」(原則5、筆者訳)。原文:”A p-value, or statistical significance, does not measure the size of an effect or the importance of a result.”

つまり「有意」とは、データと、ある特定の仮説(通常は「真の差がちょうどゼロである」という帰無仮説)との両立しやすさについての記述です。しかもそれは、モデルのすべての前提が成り立つという条件のもとでの話です。効果の大きさ、重要性、真実性についての記述ではありません。

日本語の原稿では、次の3つの用語が混同されがちです。

用語 何か いつ決まるか
有意水準(significance level、α) しきい値。慣例的には0.05 解析の前(プロトコルまたはMethods)
P値(p-value) データとモデルから計算される数値 解析の後
有意差(significant difference) P値がα未満のときに使うラベル 解析の後

論文中の言葉が、読者に何を伝え、何を伝えないかを整理すると、次のようになります。

論文中の表現 読者に伝えること 読者に伝えないこと
有意差あり(P < α) 「効果がちょうどゼロ」という仮説は、モデルのもとではデータと両立しにくい 効果が大きいこと、臨床的に重要であること、再現できること
有意差なし(P ≥ α) 効果がちょうどゼロである可能性は否定されていない 効果がゼロである、小さい、存在しない、ということ
P = 0.049 と P = 0.051 帰無仮説に反するデータの強さは、ほぼ同じ 「何かを見つけた」場合と「何も見つけなかった」場合の実質的な違い

2. 「有意差なし」は「差がない」ではない

Greenlandらは、まさにこの誤りを、よくある誤解の一つとして挙げています。共著者や指導教員が、P = 0.2 という結果の下に「差はなかった」と書いたときに手元に置いておくとよい記述です。

「帰無仮説について P > 0.05 が観察されたということは、帰無仮説が、P > 0.05 となる多くの仮説の一つにすぎない、ということを意味するだけである。したがって、点推定値(観察された関連)が帰無値とぴったり一致しているのでない限り、P > 0.05 を根拠に、研究が『関連なし』または効果の『証拠なし』を見いだしたと結論づけるのは誤りである」(Greenlandら, Eur J Epidemiol 2016、筆者訳)

原文:”Observing P > 0.05 for the null hypothesis only means that the null is one among the many hypotheses that have P > 0.05. Thus, unless the point estimate (observed association) equals the null value exactly, it is a mistake to conclude from P > 0.05 that a study found ‘no association’ or ‘no evidence’ of an effect.”

同じ論文は、大きなP値が示すのは、「P値の計算に使ったすべての前提(検定仮説を含む)が正しいなら、そのデータは珍しくない」ということだけだと述べています。同じデータは、ほかの多くの仮説のもとでも珍しくありません(筆者訳)。

AltmanとBlandは、1995年のBMJで実務上の要点を述べました。P値が5%を超えると、慣例上は差が有意でないとされます。しかし、それは「研究が臨床的に重要なことを何も見つけなかった」という意味には必ずしもなりません。試験の標本は、実際に存在する意義のある差を検出するには小さすぎることが多いからです。Cochrane Handbookも、レビュー著者向けのガイダンスで同じことを述べています。中程度または大きなP値は「介入がアウトカムに効果を持たないという証拠と誤解される」ことがあります(筆者訳)。また、必須基準(MECIR)C72は、レビュー著者に次のように注意しています。

「著者は、効果の証拠がないことを、効果がないことの証拠と取り違えることがよくある」(筆者訳)

原文:”Authors commonly mistake a lack of evidence of effect as evidence of a lack of effect.”

これは理論上の心配にとどまりません。Boutronらは、2006年12月に出版されたランダム化比較試験の報告616件を調べ、主要アウトカムが統計学的に有意でなかった(P ≥ 0.05)ために対象となった72件を評価しました。スピン(主要アウトカムが非有意であるにもかかわらず利益を強調する、あるいは非有意であることから注意をそらす報告)は、72件中13件(18.0%、95%信頼区間 10.0%~28.9%)の題名と、42件(58.3%、95%信頼区間 46.1%~69.8%)の抄録のConclusionsに認められました。この研究が示しているのは、非有意な結果の「過大な売り込み」です。上で見た引用は、その反対の誤り、つまり「効果なし」と宣言することを述べています。どちらの場合も対処法は同じです。推定値とその精度を報告し、信頼区間が許す範囲を超えて強く表現しないことです。

日本語の原稿での表現について。「有意差は認められなかった」は、検定の結果の記述として適切です。一方、「差はなかった」「効果はなかった」は、非有意な検定では裏づけられない、現実世界についての主張です。日本語の原稿を英訳するときは、著者が前者と後者のどちらを意図していたかを確認してから、”did not differ significantly” と “did not differ” のどちらを使うかを選んでください。

3. ラベルではなく信頼区間を読む

同じモデルと同じ検定であれば、95%信頼区間には、0.05水準で棄却されない効果の大きさがちょうど含まれます。Greenlandらは、これを、検定でP > 0.05となる効果の大きさの範囲と説明し、そうした値を「データとより両立する」値と呼んでいます。ここから、非有意な結果の素直な読み方が得られます。区間は「まだ否定されていない効果の一覧」です。(厳密には、95%は手続きについての表現です。研究を無限に繰り返し、そのたびに95%区間を計算したとき、それらの区間の95%が真の効果を含む、という意味です。Cochrane Handbook 15.3.1)

Greenlandらは、見落とされやすい注意をもう1つ加えています。95%区間は読者に「0.05水準のカットオフを押しつける」ものであり、P値と同じように二分法として使うこともできる、という点です。区間を報告する目的は、0を含むかどうかを確認することではなく、区間の全体と両端の大きさを見ることです(筆者訳)。

CONSORT 2010の解説は、結果が非有意なときに区間がいちばん大切になる理由を、次のように述べています。

信頼区間は「従来の統計学的有意性の基準を満たさない差に関して特に有用であり、そのような場合に区間は、結果が臨床的に重要な差を除外していないことをしばしば示す」(筆者訳)

原文:”especially valuable in relation to differences that do not meet conventional statistical significance, for which they often indicate that the result does not rule out an important clinical difference.”

「重要」かどうかを判断するには、関心のある最小の効果量(SESOI:smallest effect size of interest)が必要です。これは、患者、臨床医、あるいはその分野にとって意味のある最小の差です。SESOIはデータからではなく、臨床的・科学的な根拠から決め、できればプロトコルに書いておきます。Lakens(2017)は、同等性の限界を事前に規定することを勧めています。また、ランダム化比較試験では限界が事前に規定されることが期待されるとして、同等性・非劣性試験向けのCONSORT拡張を引用しています(Lakensが引用しているのは2006年版です。この拡張はCONSORT 2010向けにPiaggioら(2012)で更新されました)。SESOIがあれば、95%区間は次の4つのパターンのどれかになります(Lakens 2017とCONSORT・Cochraneの上記の記述に基づく、筆者の整理です)。

区間のパターン 検定結果 書いてよいこと
0を除き、全体がSESOIの外側にある 有意 意味のある大きさの差が支持される
0を除くが、「意味がないほど小さい」領域にかかる 有意 差は支持されるが、取るに足らない差かもしれない。そのことを書く
0を含み、全体がSESOIの範囲内にある 非有意 意味のある大きさの効果は考えにくい。同等性を主張できるのは、事前に決めたマージンで同等性検定(TOST)を行った場合に限る
0を含み、SESOIの外側にも伸びている 非有意 結論は出ない(inconclusive)。差を示すことも、重要な差を除外することもできない

最後の行は小規模な研究で最もよく見られる状況であり、まさに「有意差なし」という書き方が誤りやすい状況です。(簡単のため、この表は95%区間で読んでいます。同等性の正式な主張は、次に述べるとおり90%区間で判断します。したがって、95%区間がマージンをわずかに超えていても、それだけでTOSTの結果が決まるわけではありません。)

同等性検定を1段落で

効果が小さいことを示すには、より大きなP値ではなく、別の検定が必要です。2つの片側検定(TOST:two one-sided tests)の手順(Schuirmann 1987)では、SESOIから同等性の下限と上限を決め、それぞれをデータに対してα = 0.05の片側検定にかけ、両方が棄却されたときに限って同等と結論します。Schuirmannは、これが、通常の(1 − 2α)信頼区間、すなわち90%区間が限界の内側にあるかを確認することと同じ結論になることを示しました(Lakens 2017も、95%区間と並べて90%区間を描き、同じ論理を説明しています)。同等性検定は、期待外れの結果の救済策ではありません。限界は正当化したうえで、データを見る前に固定する必要があります。

非有意な結果を説明するために、「事後検出力」の計算を加えてはいけません。CONSORT 2010の解説は次のように述べています。

「試験の結果を用いて事後に統計的検出力を計算することには、ほとんど意味がない。その場合、検出力は信頼区間によって適切に示される」(筆者訳)

原文:”There is little merit in a post hoc calculation of statistical power using the results of a trial; the power is then appropriately indicated by confidence intervals.”

サンプルサイズの計画は、データ収集の前に行うものです(サンプルサイズと検出力分析)。

4. Rによる実例|非有意な結果が出たランダム化比較試験

データ。survival::pbc は、原発性胆汁性胆管炎(原発性胆汁性肝硬変)に対するD-ペニシラミンとプラセボを比較した、Mayo Clinicの試験(1974~1984年)のデータです。パッケージの説明によると、最初の312例がランダム化プラセボ対照試験に参加しており、データはほぼ揃っています。trt は 1 がD-ペニシラミン、2 がプラセボ(ランダム化されなかった患者は NA)で、status は 0/1/2 が打ち切り・移植・死亡を表します。ここでは、移植を打ち切りとして扱い、Cox回帰で群間の死亡ハザードを比較します(これは筆者の解析上の選択です。どのイベント定義を使ったかは、読者に分かるようにしておくべきです)。データでは、ランダム化された312例のうち125例が死亡しました(プラセボ群154例中60例、D-ペニシラミン群158例中65例)。

これは教材としての再解析であり、公表された試験報告の再現ではありません。最初の報告(Dicksonら, NEJM 1985)は、組織学的に進行した疾患の227例を解析し、ペニシラミンは「プラセボと比べて、全体として生存を改善しなかった」(”did not result in an overall improvement in survival as compared with placebo”、筆者訳)と述べました。このデータセットの312例は、それとは別の、より大きな解析対象です(NEJMの抄録には、試験が早期の疾患の患者で継続されていることが記されています)。したがって、数値が同論文と一致することは想定していません。

コード(R 4.3.3、survival 3.8.6):

library(survival)
d <- subset(pbc, !is.na(trt))                         # ランダム化された312例
d$arm   <- factor(d$trt, levels = c(2, 1), labels = c("placebo", "DPCA"))
d$death <- as.integer(d$status == 2)                  # 移植は打ち切りとして扱う
fit <- coxph(Surv(time, death) ~ arm, data = d)
summary(fit)
summary(fit, conf.int = 0.90)$conf.int                # 同等性の確認用の90%信頼区間
survdiff(Surv(time, death) ~ arm, data = d)          # ログランク検定(P = 0.75)
cox.zph(fit)                                          # 比例ハザード性の確認

出力(実際のセッションからの出力の抜粋。Call、Concordance、尤度比検定などの行は省略):

  n= 312, number of events= 125

           coef exp(coef) se(coef)     z Pr(>|z|)
armDPCA 0.05722   1.05889  0.17916 0.319    0.749

        exp(coef) exp(-coef) lower .95 upper .95
armDPCA     1.059     0.9444    0.7453     1.504

        exp(coef) exp(-coef) lower .90 upper .90
armDPCA  1.058893  0.9443827 0.7886158    1.4218

       chisq df    p
arm    0.612  1 0.43

プラセボに対するD-ペニシラミンのハザード比(HR)は1.06(95%信頼区間 0.75~1.50、Wald検定 P = 0.75。ログランク検定でも P = 0.75)です。比例ハザード性の確認ではP = 0.43であり、HRの仮定が大きく崩れている兆候はありません。

関心のある最小の効果量によって読み方がどう変わるかを示すため、例示用の同等性マージンとして、HR 0.80~1.25(対数尺度で対称)を選びます。このマージンは、デモのための仮置きにすぎません。この疾患についての臨床的な基準ではありません。実際の解析では、データを見る前に、自分のマージンを根拠とともに決めます。対数ハザード比にTOST(Wald近似)を適用すると、次のようになります。

b  <- unname(coef(fit)["armDPCA"]);  se <- sqrt(vcov(fit)["armDPCA", "armDPCA"])
p_lower <- 1 - pnorm((b - log(0.80)) / se)            # H0: HR <= 0.80
p_upper <- pnorm((b - log(1.25)) / se)                # H0: HR >= 1.25
round(c(p_lower = p_lower, p_upper = p_upper, TOST = max(p_lower, p_upper)), 3)
# p_lower p_upper    TOST
#   0.059   0.177   0.177

どちらの片側検定も0.05では棄却されず(TOSTのP = 0.177)、90%区間(0.79~1.42)は0.80~1.25の内側に収まっていません。したがって、同等性は示されていません。このデータで同等性を宣言するには、マージンが少なくともHR 0.70~1.42程度である必要がありました(90%区間の上限の逆数が0.70です)。これはプラセボより42%高いハザードを意味し、「重要な差がない」と呼ぶ臨床医はほとんどいないでしょう。

プラセボに対するD-ペニシラミンの死亡ハザード比のフォレストプロット。未調整HR 1.06(95%信頼区間 0.75~1.50、P = 0.75)、調整後HR 0.87(95%信頼区間 0.61~1.26、P = 0.46)。例示用の同等性マージンHR 0.80~1.25を帯で示す
図1. MayoのPBC試験におけるD-ペニシラミンとプラセボの死亡ハザード比(survival::pbc、n = 312、死亡125例)。細線は95%信頼区間、太線は90%信頼区間、帯は例示用の同等性マージン(HR 0.80~1.25)。未調整HR 1.06(95%信頼区間 0.75~1.50、P = 0.75)、調整後HR 0.87(95%信頼区間 0.61~1.26、P = 0.46)。(データ出典:survival::pbc、R 4.3.3) © editverse.com

図の読み方:結果は「有意でない」ですが、区間は死亡ハザードの約25%低下から約50%上昇にわたります。この試験は、利益や害を示すことも、中等度の差を除外することもできません。この図が示しているのは「効果なし」ではありません。

感度分析として、年齢、ビリルビン(対数)、アルブミン(対数)、プロトロンビン時間(対数)、浮腫をモデルに加えると(coxph(Surv(time, death) ~ arm + age + log(bili) + log(albumin) + log(protime) + edema, data = d)、完全データ312例)、HR 0.87(95%信頼区間 0.61~1.26、P = 0.46)になります。点推定値は動きますが、区間は依然として広く、結論(このスケールでは「結論は出ない」)は同じです。論文でこれを行う場合は、どちらの結果も見る前に、どのモデルが主解析かをMethodsに明記します。

英語論文での書き方(Methods・Results・Abstract)

英文で投稿する場合の文例です(数値は上の実際の出力です)。

Methods. “The primary comparison was the hazard of death from any cause between D-penicillamine and placebo, estimated with a Cox proportional-hazards model (R 4.3.3, survival package 3.8.6); liver transplantation was treated as censoring. Proportional hazards were checked with cox.zph. Results are reported as hazard ratios with 95% confidence intervals and exact p-values. No equivalence margin was prespecified, so no conclusion of equivalence is drawn.”

Results. “Of 312 randomised patients, 125 died (65/158 with D-penicillamine, 60/154 with placebo). The hazard ratio for death with D-penicillamine versus placebo was 1.06 (95% CI 0.75 to 1.50; p = 0.75). The interval is compatible with a 25% lower to a 50% higher hazard of death; the data therefore neither demonstrate a difference nor exclude a moderate one.”

Abstract conclusion. “This trial did not detect a difference in all-cause mortality between D-penicillamine and placebo, but the confidence interval does not exclude moderate benefit or harm.”

(これらの文の数値は上の実際の出力です。文例が示すのは書き方の型であり、この薬剤についての臨床的な結論ではありません。)

5. 日本語論文での書き方|結果の例文と、避けたい表現

結果(Results)の文例

文例1は、上のPBC試験の実際の出力を使った例です。文例2・3は書き方の型です。群間のコントラストについて、推定値、95%信頼区間、正確なP値を示し、そのうえで区間がなお許す範囲を述べます。

  • 文例1(主解析):「ランダム化された312例のうち125例が死亡した(D-ペニシラミン群158例中65例、プラセボ群154例中60例)。プラセボ群に対するD-ペニシラミン群の死亡のハザード比は1.06(95%信頼区間 0.75~1.50、P = 0.75)であった。この区間は、死亡ハザードが25%低い場合から50%高い場合までと両立する。したがって、本データは群間差を示すものでも、中等度の差を除外するものでもない。」
  • 文例2(有意差なしの書き方の型。数値は自分の結果に置き換えてください):「群間差は3.1(95%信頼区間 −1.6~7.8、P = 0.20)であった。データは、差がないことと、最大約8単位までの差のいずれとも両立する。」
  • 文例3(同等性検定を行った場合の型):「差の90%信頼区間(x~y)は、事前に規定した同等性マージン±zの内側にあり、2群はこのマージンの範囲内で統計学的に同等であった。」

文例1の数値は、上のRの出力と、本文に示した各群の例数・死亡数です。文例2・3の数値と記号(3.1、x、zなど)は、書き方の型を示すための例示であり、実データではありません。いずれも薬剤の臨床的な結論を示す文例ではなく、書き方の型を示すものです。

避けたい表現と、望ましい表現

状況 避けたい(または誤りの)表現 望ましい表現
P = 0.20、区間が広い 「群間に差はなかった」 「差は3.1単位(95%信頼区間 −1.6~7.8、P = 0.20)であり、データは差がないことと、最大約8単位までの差の両方と両立する」(型。自分の数値に置き換える)
P = 0.07 「有意傾向(trend toward significance)にあった」 推定値と信頼区間を報告する。非有意なP値を「有意になりかけている」と表現しない
区間が事前規定のマージンの内側、TOSTを実施 「効果なし」 「差の90%信頼区間(x~y)は、事前に規定した同等性マージン±zの内側にあり、2群はこのマージンの範囲内で統計学的に同等であった」(型)
大規模研究で効果が小さく、P < 0.001 「非常に有意な改善」 効果量を示し、それが重要かどうかを問う(Cochrane Handbook 15.3.2は、この2つ目の誤解、すなわち大規模研究での小さなP値が「取るに足らない効果の検出を表している可能性がある」ことを説明している)
多数の中の副次評価項目でP = 0.04 「有意に良好であった」 探索的な結果と明記し、多重比較補正 を参照する

報告基準も、これを裏づけています。

  • CONSORT 2010 の項目17a:主要・副次の各アウトカムについて「推定された効果量とその精度(95%信頼区間など)」を示すことを求めています。解説は、P値を信頼区間に加えて示してもよいが、「結果をP値だけで報告してはならない」と述べています。さらに、よくある誤りとして、治療効果についての区間ではなく、各群のアウトカムについての別々の信頼区間を示すことを挙げています。差または比について、区間を1つ示してください(筆者訳)。
  • ICMJE勧告(統計):「可能な場合は、所見を定量化し、測定誤差または不確実性の適切な指標(信頼区間など)とともに示すこと。P値のような統計的仮説検定だけに頼ることは避けること。P値は、効果の大きさと推定の精度についての重要な情報を伝えない」(筆者訳)。
  • Cochrane Handbook(レビュー著者向け):結果を「統計学的に有意」「統計学的に有意でない」「非有意」と記述したり、P値のしきい値に過度に頼ったりせず、信頼区間を正確なP値とともに報告すべきである(筆者訳)。これはCochraneレビューのための規則です。ジャーナルによって方針は異なり、読者の多くは今でも「有意」という言葉を期待しています。そのため、まず効果、区間、正確なP値を述べ、ラベルを使うとしても、その後にしてください。

P値は正確に報告します(「NS」や「P > 0.05」ではなく、P = 0.75)。書式の規則は、P値の記事で解説しています。

6. 0.05の近くのP値は壊れやすい|解析を変えるだけでラベルが変わる

2つ目の実例として、MASS::anorexia(神経性やせ症の若年女性の体重変化。体重の単位はポンドです。MASSのドキュメントが、元の出典のkgという記載を訂正しています)を使います。認知行動療法(CBT、n = 29)と対照群(n = 26)を比較します。ランダム化されたかどうかはパッケージからは分からないため、単に治療の比較として扱い、ラベルが解析にどう依存するかを示す目的にだけ使います。

library(MASS)
a <- subset(anorexia, Treat != "FT")
a$chg <- a$Postwt - a$Prewt
t.test(a$chg[a$Treat == "CBT"], a$chg[a$Treat == "Cont"])      # デフォルトはWelch検定
a$Treat <- relevel(droplevels(a$Treat), ref = "Cont")
m <- lm(Postwt ~ Prewt + Treat, data = a)                      # ベースライン体重で調整
cbind(coef(summary(m))["TreatCBT", , drop = FALSE]); confint(m)["TreatCBT", ]

実際の出力:体重変化のWelchのt検定では、差は3.46 lb(95%信頼区間 −0.70~7.62、t = 1.6677、df = 50.971、P = 0.1015)でした。ベースライン体重で調整した場合(共分散分析)、差は4.24 lb(95%信頼区間 0.56~7.93、t = 2.3093、P = 0.0249)でした。

同じデータの2つの解析による体重変化の差(CBT − 対照)の比較。Welch t検定は3.46 lb(95%信頼区間 −0.70~7.62、P = 0.101)、ベースライン体重で調整した共分散分析は4.24 lb(95%信頼区間 0.56~7.93、P = 0.025)
図2. 同じデータの2つの解析による、体重変化の差(lb、CBT − 対照)(MASS::anorexia)。変化量のWelch t検定:3.46 lb(95%信頼区間 −0.70~7.62)、P = 0.101。ベースライン体重で調整した共分散分析:4.24 lb(95%信頼区間 0.56~7.93)、P = 0.025。(データ出典:MASS::anorexia、R 4.3.3) © editverse.com

図の読み方:一方の解析は「有意でない」、もう一方は「有意」ですが、推定値(3.5 lbと4.2 lb)と区間はほとんど重なっています。区間はほぼ一貫した内容を伝えていますが、「有意かどうか」のラベルは一貫していません。

実務上の教訓は2つあります。第1に、P値を見る前に、主解析を選んで書き留めてください(CONSORTの項目12aは群間比較に用いた統計手法の記載を、項目18はサブグループ解析・調整解析などについて事前規定か探索的かの区別を求めています)。0.05を越えたモデルを後から選ぶのは、解析ではなく選択です。第2に、境界にある結果が0.05のどちら側に落ちたかに、大きな意味を持たせないでください。推定値と区間を報告し、判断は読者に委ねます。

7. 「有意差なし」と書く前のチェックリスト

  1. 解析のデータを見る前に、αと主要評価項目、解析方法を定めましたか。
  2. 推定値(差、比、HR)を、95%信頼区間と正確なP値とともに報告しましたか。群ごとの別々の区間ではなく、群間のコントラストについてです。
  3. 区間がなお許す範囲を、「…から…まで両立する」と書きましたか。
  4. 「重要な差はない」と言いたい場合、根拠のあるマージンと、事前に固定したTOST(または区間がマージンの内側にあること)がありますか。なければ、「結論は出ない」「差は検出されなかった」と書いてください。
  5. 事後検出力も、「有意傾向」も使っていませんか。
  6. 結果が有意な場合は、P < 0.05かどうかだけでなく、その効果量に意味があるかを問いましたか。
  7. AbstractとTitleは、主要評価項目が示したことを、Resultsと同じ慎重さで書いていますか。

あわせて読みたい:有意でなかった共変量・サブグループの書き方と査読返答の例文

非有意な結果の解析と書き方でお困りの方へ

有意差なしの結果をどう解析し、どう書けばよいか迷う場合は、いまの段階に合わせて、当社の統計の専門家がご一緒に検討します。医学統計解析サポート は、研究の統計解析を、解析コードと結果レポートとともにお渡しし、MethodsとResultsの記述の支援もあわせて行います。共著者や査読者が、すべての数値を確認できるようにするためです。査読者から、非有意な結果への指摘や再解析の依頼がすでに届いている場合は、査読対応・統計再解析 で、再解析(Rスクリプトと出力ログ)と回答文の作成をお手伝いします。

統計の支援と英文校正は、ICMJEの著者資格の指針のもとで認められる支援です。研究課題、結果の解釈、結論は、研究者ご自身と共著者のものであり、当社の支援は採択まで追加料金なしで継続します(採否はジャーナルが判断します)。統計解析サービスの全体は 統計解析サービス をご覧ください。

まとめ

  • 有意差とは、P値が、事前に決めたしきい値を下回ったことを意味します。効果の大きさや重要性を測るものではありません。
  • 有意差なしとは、効果がゼロである可能性が否定されていない、という意味です。効果がゼロであることを示すものではありません。
  • 推定値、95%信頼区間、正確なP値を報告し、区間がなお許す効果の範囲を述べます。
  • 「重要な差はない」と言うには、事前に規定した関心のある最小の効果量と、同等性検定(90%区間がマージンの内側)が必要です。なければ「結論は出ない」または「検出されなかった」と書きます。
  • 実際のPBC試験のデータでは、HR 1.06(95%信頼区間 0.75~1.50、P = 0.75)は、死亡ハザードの25%低下から50%上昇までと両立します。
  • 境界にあるP値は、解析を変えるだけでラベルが変わります(同じデータでP = 0.10とP = 0.025)。主解析は、あらかじめ固定してください。

公費・研究費でのお支払い

大学・研究機関の公費や研究費でのお支払いに向けて、見積書・納品書・請求書を発行しています。詳しくは 公費・研究費でのお支払い をご覧ください。お見積もりのご依頼は 無料見積もり・お問い合わせ からお願いします。

関連記事

よくある質問

Q. 有意差ありと有意差なしの違いは何ですか?

有意差ありは、P値が、事前に決めたしきい値(通常は0.05)を下回ったことを、有意差なしは下回らなかったことを表します。どちらのラベルも、効果の大きさや重要性を測るものではありません。有意差なしは、効果がゼロである可能性が否定されていないことを示すだけで、効果がゼロであることを示すものではありません。

Q. 有意差なしは、2群が同じという意味ですか?

いいえ。Greenlandらは、これを誤りとして説明しています。P値が0.05を超えたということは、帰無仮説が、データと両立する多くの仮説の一つであることを意味するだけです。群が同等であると主張するには、解析の前に固定したマージンで同等性検定(TOSTなど)を行う必要があります。

Q. 有意差なしの結果は、Resultsでどう書けばよいですか?

群間のコントラストについて、推定値、95%信頼区間、正確なP値を示し、そのうえで区間がなお許す効果の範囲を述べます(例:死亡ハザードの25%低下から50%上昇までと両立する)。「効果なし」「差はなかった」「有意傾向」という表現は避けます。

Q. 有意差なしの理由を、検出力の低さで説明してもよいですか?

観察された結果から「事後検出力」を計算するのは避けてください。CONSORT 2010は、信頼区間がすでに精度を示しているため、その計算にはほとんど意味がないと述べています。検出力は、計画の段階で扱うものです。

Q. 95%信頼区間が0を含むなら、結果は有意でないということですか?

同じモデルと検定であれば、そのとおりです。区間には、P値が0.05以上となる効果の大きさが含まれるため、帰無値を含む95%区間は、両側P値が0.05以上であることに対応します。0を含むかどうかだけでなく、区間の全体の広がりを見てください。

参考資料

PubMed収載の文献(題名・著者・雑誌・年・巻・ページ・DOIは、2026年10月6日にNCBI E-utilitiesで確認)

  1. Altman DG, Bland JM. Absence of evidence is not evidence of absence. BMJ. 1995 Aug 19;311(7003):485. doi: 10.1136/bmj.311.7003.485. PMID: 7647644.
  2. Greenland S, Senn SJ, Rothman KJ, Carlin JB, Poole C, Goodman SN, Altman DG. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. Eur J Epidemiol. 2016 Apr;31(4):337-50. doi: 10.1007/s10654-016-0149-3. PMID: 27209009.
  3. Boutron I, Dutton S, Ravaud P, Altman DG. Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA. 2010 May 26;303(20):2058-64. doi: 10.1001/jama.2010.651. PMID: 20501928.
  4. Moher D, Hopewell S, Schulz KF, Montori V, Gøtzsche PC, Devereaux PJ, Elbourne D, Egger M, Altman DG. CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ. 2010;340:c869. doi: 10.1136/bmj.c869. PMID: 20332511.
  5. Lakens D. Equivalence tests: a practical primer for t tests, correlations, and meta-analyses. Soc Psychol Personal Sci. 2017;8(4):355-62. doi: 10.1177/1948550617697177. PMID: 28736600.
  6. Schuirmann DJ. A comparison of the two one-sided tests procedure and the power approach for assessing the equivalence of average bioavailability. J Pharmacokinet Biopharm. 1987;15(6):657-80. doi: 10.1007/BF01068419. PMID: 3450848.
  7. Piaggio G, Elbourne DR, Pocock SJ, Evans SJW, Altman DG; CONSORT Group. Reporting of noninferiority and equivalence randomized trials: extension of the CONSORT 2010 statement. JAMA. 2012;308(24):2594-604. doi: 10.1001/jama.2012.87802. PMID: 23268518.
  8. Dickson ER, Fleming TR, Wiesner RH, Baldus WP, Fleming CR, Ludwig J, McCall JT. Trial of penicillamine in advanced primary biliary cirrhosis. N Engl J Med. 1985;312(16):1011-5. doi: 10.1056/NEJM198504183121602. PMID: 3885033.

学会・ガイドライン・ソフトウェア・データ

  • Wasserstein RL, Lazar NA. The ASA statement on p-values: context, process, and purpose. Am Stat. 2016;70(2):129-33. doi: 10.1080/00031305.2016.1154108(Crossrefで書誌情報を確認。PubMedには収載されていません。6原則は、ASAの声明のPDFで確認:ASA Statement on Statistical Significance and P-Values)
  • Cochrane Handbook for Systematic Reviews of Interventions, version 6.5, chapter 15 「Interpreting results and drawing conclusions」(15.3.1、15.3.2、MECIR C72):training.cochrane.org/handbook/current/chapter-15
  • ICMJE. Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals: Preparing for Submission、「Statistics」の項:icmje.org
  • R documentation, survival::pbc(Mayo ClinicのPBC試験。Therneau & Grambsch, Modeling Survival Data, Springer 2000)。MASS::anorexia(Hand et al., eds., A Handbook of Small Data Sets, Chapman & Hall 1993, data set 285。Venables & Ripley, Modern Applied Statistics with S, 4th ed., Springer 2002)。R 4.3.3、survival 3.8.6、MASS 7.3-60.0.1
  • 本文中の英語の引用の日本語訳は、すべて筆者訳です。

類似投稿

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です