データの不精確さ(imprecision): サンプルサイズとイベント数

Kyoto Heart Study撤回理由の統計解析の誤りに関連して追加して解説します。


診療ガイドラインのためのGRADEシステム(凸版メディア、相原他、2010年)(1.5-4章, p56-59)より

-----------------------------------------------------------------
データの不精確さ(imprecision) とは,データのばらつきが大きい場合や対象患者数(サンプルサイズ)やイベント数が少ない場合に信頼区間の幅が広いことを指す。データの不精確さがあるとその研究結果についての確信は低くなり,そのためエビデンスの質は低下する。
risk of bias の項(第1 章,1.5.1「研究の限界」,46 頁)で記載したように,GRADE では,バイアス(系統誤差)を「研究の限界」の中で評価し,ランダム誤差をデータの不精確さとして評価する。信頼区間が広い場合はエビデンスの質が(不精確さのために)1 段階下がり(たとえば,「高」から「中」),信頼区間が非常に広い場合は2 段階下がる場合もある。


イベント数はある程度任意に設定可能だが,図1.5.4‒2a および図1.5.4‒2b は,不精確さを理由に評価を下げるべき閾値としては,RRR 25%以上の効果を得るためには,いかなる対照群イベント率における値でも,400 件以上のイベント数(図1.5.4‒2b 中の点線)が合理的であることを示している。このため,GRADE では,総イベント数は400 件,総サンプル数は4,000 という閾値を不精確さの判断基準の1 つとして設定している。なお,早期中止試験については,効果を理由とした早期中止試験においてイベント数100 件未満でRRR 50%以上という効果は信じるべきでない,という報告もある47)。
-----------------------------------------------------------------


■図1.5.4‒2 対照群イベント発生率とRRRを変えた場合の総サンプルサイズ(左図a)および総イベント数(右図b)
samplesize
(書籍には、右図の総イベント数のスケールに誤植あり)


システマティックレビューや診療ガイドラインにおけるエビデンスの質をGRADEアプローチを使って評価する際に、どのような手順とするかというのが、下図です。


■図1.5.4‒3 システマティック・レビューとガイドラインにおける(2 値変数の)不精確さの評価83)
fig1.5.4-3
赤フォント部分は、GRADE JCEシリーズ #6 にて修正追加された内容です


したがって、Kyoto Heart Studyと似たようなデータを発表している論文データの不精確さを見抜くことは、(ある程度の統計知識があれば)難しいことではないと思います。

Kyoto heart study論文が撤回

以前から問題が指摘されていたKyoto heart study論文が撤回されました。

http://cardiobrief.org/2013/02/02/european-heart-journal-retracts-main-paper-of-the-kyoto-heart-study/


The papers, according to the editor, “contain a number of serious errors in data analysis.”


Kyoto Heart Studyの研究デザインはPROBE法、そして、いくつかのサブ解析のイベント数は、脳卒中 61例、狭心症66例、心筋梗塞18例で、45~50%もの相対リスク減少(RRR)!


---------
統計学的にいかに有意差があったと著者や製薬会社が宣伝しても、われわれはだまされない。 これまでの”利益を理由に早期中止されたランダム化比較試験”の特徴から、「100件未満の試験における50%ものRRRは信じるべきではない」(JAMA医学文献ユーザーズガイド(相原 他 監訳)より)。


同じような大規模試験は国内にはたくさんありますが、問題は当該試験において使われる統計手法の理論的根拠を明確に理解している研究者が極めて少ないということでしょう。不適切な研究からの”効果を強調した図”を見せられて、統計解析の誤りを含めて反論できる臨床医は少ないと思います。


Diovan三部作の他の研究はいかに。


 いくつかの診療ガイドラインにおいて、本研究を引用しているものがありますが、迅速な内容修正が必要となります。


高血圧治療ガイドラインの内容を閲覧しようとして、
●日本高血圧学会Hpにアクセスすると、
→「全文をMindsに掲載している」


●Mindsにアクセスすると、
→「ライフサイエンス出版から購入を」 


しかも、2009年版です。
学会ガイドライン作成ー出版社、 この連携を解消することが必要と思います。