Category: ‘network meta-analysis’

直接推定値と間接推定値、混合推定値はエビデンスの質を提示しなくてはならない

2015年6月2日 Posted by aihara

direct, indirect, mixed estimatesを提示する際にはその質を記載する必要があるが、以下に国内論文を2つ紹介する。

●例1
Miura T, et al. Comparative efficacy and tolerability of pharmacological treatments in the maintenance treatment of bipolar disorder: a systematic review and network meta-analysis. Lancet Psychiatry 2014;1: 351–59.

双極性障害治療に関するNMA論文です。採用しているエビデンスの質評価システムは、GRADEアプローチで、直接比較の異質性をheterogeneity、直接比較と間接比較の不一致をinconsistencyという定義で、Salantiらの基準に従ったものです。

本論文のsupplementary materialにGRADEの基本の5要因を使ったエビデンスの質評価が記載されています(下図)。

本論文は、国内で初めてGRADEを使ったNMA論文です。

QoE-nma

●例2
有効性評価に基づく胃がん検診ガイドライン2014ドラフト(「有効性評価に基づく胃がん検診ガイドライン」作成委員会)
本研究を単純にこれまで解説したNMA評価システムを使って評価することはできないが、多変量メタ・アナリシスを使っているので、その結果の部分をみてみます。

ヘリコバクター・ピロリ菌感染及び胃粘膜萎縮によるリスク層別化に関する研究が実施され、4 件のコホート研究がペプシノゲンとヘリコバクター・ピロリ抗体検査の併用法に基づいた4 群層別化モデルによるリスク層別化を検討し、多変量メタ・アナリシス(Multivariate meta-analysis)が実施され、直接推定値と、直接・間接推定値の混合推定値が提示されています。

しかし、直接推定値や間接推定値、混合推定値に関するエビデンスの質評価は全く記載されておらず、その確信性を判断することはできません。

本図に記載されているGroupA vs groupBの比較をみると、3件の研究からの直接推定値の異質性は中等度です(異質性の理由は記載されていない)。両者の推定値からindirect estimatesを計算すると、OR 4.26 (0.368-49.285)であり、つまり、間接エビデンスは、非常に不精確であると思われます。また、異なるカットオフに関する直接比較は、たった1件の観察研究です。統合推定値は直接推定値と近似していますが、著者らはいずれもエビデンスの質についても明確に記載していません。

control eventを0.002~ 0.003と考えると、NNHは154、103であり、1000人あたりとしては、7人~10人と判断できます。

abc_risk

NMAエビデンスのGRADE評価-(3): ランキング

2015年6月1日 Posted by aihara

●ランキングにおける問題
例えば、前回の例では、直接比較において、Ilizarov創外固定は、創外(External)固定と比較した場合に、再手術のオッズ比を60%減少します。

介入の全てについてランキング解析をすると、前回のランコグラムやSUCRAに示したように、Unreamed>Ilizarov>Ender>Reamed>External>Plateの順であった。しかし、たとえば、Ilizarov創外固定に関するbody of evidenceは、risk of biasが高い小規模試験1件だけ(総イベント数19件)である。つまり、当該治療のランキングの信頼性(credibility)は低いといえる。

sucra-0523

 

このように、ランコグラムやSUCRAからは、risk of bias、非一貫性、非直接性、出版バイアスなどに関する情報は一切得られない。しかし、対比較のRoB、非一貫性、不精確さなどからランキングに関するエビデンスの質は、”very low”である。

注3:今回の私の解析ではあえて、全ての介入に関するランキングを示したが、論文著者らは、”Very low”のエビデンスを除外して解析したランキングを報告している。そのランキングは、Unreamed>Reamed>External>Plateであり、SUCRAはそれぞれ、86.3%, 54.4%, 24.1%, 3.6%である(論文の表6)。

●ranked forest plot:
ランキングによる誤解に対しては、質の低いエビデンスを除外する方法の他には、”ranked forest plots”(*)を表示する方法もある。
(*)Furukawa TA. Case study in psychiatry. In: Biondi-Zoccai G, edit. Network meta-analysis -Evidence synthesis with mixed treatment comparison. NY: Nova Science publishers; 2014, 325-337.

今回のデータを使ったranked forest plotでは、たとえば、効果が最低の治療(plate)を基準した比較のフォレストプロットをみると、以下のように、各治療の比較や効果の程度を視覚的に理解しやすくなる。

ranked_forest

●ランコグラム
黄色のセルの部分が有意差がある比較です。

rankogram

NMAエビデンスのGRADE評価-(2)

2015年5月29日 Posted by aihara

GRADEシステムにおいては、エビデンスの質を評価するための、基本項目がある。risk of bias、非一貫性、非直接性、出版バイアスである。

各直接比較に関しては、従来のGRADE基準をそのまま適用できる。NMA推定値に関しても、GRADEに準じた基準を使うことができる。NMA推定値の確実性(certainty:エビデンスの質、効果の確信性ともいう)を評価する際の具体的な指針として以下のようなものも発表されている。
Network Meta-analysis: Users’ Guide for Surgeons: Part II – Certainty

●各比較で、risk of biasは低いか
●出版バイアスの懸念があるか
●直接比較における個々の研究結果は一貫しているか(異質性)
●間接比較は移行性の原則に順守しているか(推移性)
●直接比較と間接比較の結果は一貫しているか(整合性)
●信頼区間または信用区間は十分に狭いか(精確さ)
●治療ランキングは信用できるか

 

●各比較で、risk of biasは低いか(RoB):
たとえば、今回引用したFooteらの論文においては、Reamed vs Unreamed比較の直接エビデンスは low RoBだったが、Ilizarov vs Externalの直接比較は、準ランダム化試験が組み入れられていることでブラインドが欠如しているためhigh RoBと判定されている。また、Salantiらが報告しているように、NMAエビデンスのRoB評価には、contribution plotのデータを使うことも可能である。

●出版バイアスの懸念はどうか:
否定的な試験が出版されないままに終わると出版バイアスが発生する。同じように、大部分が企業出資を受けている、肯定的な結果を示す一連の小規模研究もまた出版バイアスにつながる。NMAにおける出版バイアスの評価は簡単ではないが、いくつかの方法が報告されており、たとえば今回の例では以下のような結果である。

図a:comparison adjusted funnel plot

funnel.jpg

図b:contour-enhanced funnel plot with Trim and fill

contour-trim.jpg

バイアスはありそうではないといえる

●直接比較における研究結果の一貫性(異質性):
たとえば、Reamed vs Unreamedの直接比較(4研究)では、点推定値は類似し、CIの重なりは広く、異質性検定のp値は0.61、I2=0%であり、一貫性が高いことが示されている。

●間接比較の移行性(推移性):
Footeらは、Reamed vs Unreamed比較において間接推定値と直接推定値との大きな差は、非推移性によると評価し、間接エビデンスの質をグレードダウンとしている。

●直接比較と間接比較の結果は一貫しているか(整合性):
前回述べたように、Reamed vs Unreamed比較には非整合性がある。なお、直接推定値とNMA推定値の比較も可能である(下図)。

forest_direct_vs_nma

●信頼区間または信用区間は十分に狭いか:
GRADEにおいては、効果推定値に関するランダム誤差の程度をデータの不精確さとして評価し、データの範囲を提示する。この範囲は、従来の頻度論的分析では信頼区間、ベイズ分析では信用区間として知られている。
NMAにおいては、十分なサンプルサイズを持つ複数の試験を統合して2つの介入を比較した場合には、CIは狭くなる可能性が高い。しかし、比較のためのエビデンスの大部分が間接推定値による場合は、CIは広くなる可能性が高い。
Reamed vs Unreamedの比較では、NMA推定値のCIの幅(Ln95%CI=1.0238)は直接推定値のCI(Ln95%CI=1.0136)よりも広くなっている。

***********************************************
別の比較であるUnreamed vs Externalをみてみると、以下である。

nma_evidence_table-2

■Unreamed vs Externalに関するエビデンスの質評価と最良のエビデンスの決定

直接推定値は準ランダム化試験のために1段階グレードが下がりQoEは”moderate”である。直接推定値と間接推定値には非整合性がないが(forest plot図のCvB)、間接推定値は、risk of biasによるグレードダウンがあり、さらに、信頼区間は広く(95%CI 0.08-1.56)不精確であり(著者らはグレードダウンとしての理由を”非推移性”と記載しているため、上図においても、intansitivityとした)、最終的なQoEは”Low”である。NMA推定値の点推定値は、直接推定値や間接推定値と近似しており、信頼区間は直性推定値の信頼区間よりもやや狭い(95%CI 0.23-0.62)。エビデンスの質は、risk of biasによる1段階グレードダウンの”moderate”である。

したがって、本比較においては、”moderate”の質のNAM推定値を最良のエビでデンスとして採用することになる。

注:オリジナルの論文にない図表は、全て相原が論文データをもとに作成したものであり、それらの信用性については保証できません。

次回は、ランキングについてチャレンジしてみたい。

NMAエビデンスのGRADE評価-(1)

2015年5月28日 Posted by aihara

前回、前々回のネットワークメタアナリシス(NMA)について、GRADEを使ってエビデンスの質を評価すると以下のような手順となる。NMAエビデンスに関するGRADEアプローチの適用(4つのステップ)については、GRADE2版を参照していただきたい。

画像

■Step-1: ネットワーク内の各比較について直接推定値と間接推定値を示す

Reamed(A) vs Unreamed(B)比較における、直接推定値(4件のRCT)は0.74(0.45-1.24)、間接推定値(7件のRCT)は0.07(0.01-0.46)である。

■Step-2:直接推定値と間接推定値の質を等級する

AvBのhead-to-head、つまり直接推定値のrisk of biasはlowであるが、その信頼区間は広く(0.45-1.24)、”効果なし=1”をまたいでおり、不精確さ(imprecision)のため1段階グレードダウンとなる。(GRADE QoE: Moderate)

一方、AvBの間接比較の推定値は0.07(0.01-0.46)と有意差があり、リーマ使用の釘固定よりはリーマ不使用の釘固定の方がはるかに再手術率が低いことを示している。しかし、採用研究が割り付けの隠蔽化やブラインド化の欠如のためrisk of biasが高いことから「moderate quality」にグレードダウン、さらに、効果修飾に差がある(非推移性:注1)の疑いの試験により構成されていることから、最終的なエビデンスの質はlowにグレードダウンとなった(論文著者らの評価)。

注1:非推移性:たとえば、共通の比較対照(B)を介して、懸案の比較(たとえばA対C)に関する推論を立てる場合、AvB試験とBvC試験とで、患者、介入、アウトカムが著しく異なる問題を、”推移性の違反(violation of transitivity)”もしくは非推移性(intransitivity)という。

■Step-3: NMA推定値を示す

直接推定値と間接推定値は、それぞれを取り巻く信頼区間の重なりはほとんどなく、両者が同一であるとする帰無仮説の値(注2)は0.0196(論文には0.02と記載されている)であり、効果が同じではないことを示唆している。
NMA推定値は、0.62(0.37-1.03)である。

注2:interaction, 整合性検定
(NMAに関する特殊用語とその意味は、GRADE2版を参照のこと)

■Step-4: NMA推定値を等級する

直接推定値と間接推定値には非整合性があり、理論的にはこの整合性は非推移性によって間接比較に生じたバイアスが原因で生じる。非整合性(incoherence)のために、本NMA推定値の確信性は低下し、さらに95%信頼区間から”不精確(imprecision)”でもある。したがって、NMA推定値の最終的なエビデンスの質は、highから2段階低下し、Lowとなる。

■エビデンステーブル

nma_evidence_table-1

さて、我々は、Reamed vs Unreamedの比較に関して、直接エビデンスと間接エビデンスとNMAエビデンスのいずれを信用すべきだろうか

・・・答えは明らかに、エビデンスの質が“中(moderate)”の「直接エビデンス」である。
「リーマ不使用の釘固定術はリーマ使用の釘固定術に比べて、再手術のオッズ比を30%減少する」といえる。

間接比較による効果は非常に大きいが、その効果推定値に関する確信性は低く、過大評価しているのであろう。また、整合性がない直接推定値と間接推定値から混合推定値を得ることが適切とは思えない。

NMA:批判的吟味ワークシート

2015年5月26日 Posted by aihara

JAMA Users’ guides to the medical literature(3rd), 2015 に記載されている、ネットワークメタアナリシスの批判的吟味の基本3ステップが以下です。

http://www.grade-jpn.com/jama/NMA-2015.pdf

第2版の基準と比較すると、よりGRADE要素を意識した内容になっています。

0526

NMAエビデンスの質を評価する-(3): gemtc/R

2015年5月25日 Posted by aihara

前回のSTATAを使った解析を、GRADE2版で解説しているgemtc/Rを使って繰り返してみる。

●ネットワークプロット
当然のことであるが、ネットワーク構造は前回のSTATAと同じである。

以下のグラフからもわかるように、現バージョン(ver. 0.6)のgemtcによるネットワークプロットは、STATAによるものと比べるといくつのかの点で劣っている。たとえば、ノードの大きさや稜線の太さを変更できない。また、ネットワークプロットにrisk of biasを反映させることができない。

A:Reamed, B: Unreamed, C:External(AO)_fixation, D:Plate, E:Ender, F:Ilizarov fixation
gemtc_plot

●NMA推定値
Reamed nailをコントロールとして比較したものが以下の結果である。Unreamed vs Reamead のNMA効果推定値は、OR 0.62 (95%CI 0.37-1.0)であり、論文データと同じである。

forest_vs Control

(注)node splitting法による解析結果が以下で、直接推定値、間接推定値、NMA推定値が示されている。
forest_nodeSp

●調整間接比較(adjusted indirect comparison)は、単純計算により算出可能である
2つの比較からの調整間接比較や、直接推定値と間接推定値の値から混合推定値を算出することは、エクセルを使うことでも可能であり、逆に、NMA推定と直接推定値から、間接推定値を求めることもできる(Bucher method)。

aic

Ranking:
gemtc/Rにおいては、STATAと異なり、SUCRAを表示することはできない。しかし、各介入のランキングの作成(ランコグラム)は可能である(下図)。X軸には介入の種類を、Y軸には、各ラインキングの割合を棒グラフで示している。なお、gemtc/Rの前の古い”gemtc-gui”を使うとランキングをカラー表示できるが、現在gemtc開発者のGertらは、NMAのすべてをRパッケージとしてのgemtcとsmaa、もしくはADDISを使ったものに移行している(smaaやADDISソフトは複雑で難解である)。

ranking ranking2

図から明らかなように、ランキング一位の確率が高いのは治療Bと治療Fであり、治療Dは最下位の確率が高い、と言える(前回のSTATAを使ったsucra図において、介入名称の一部に誤りがあり変更しました)。

●League table:
前回と今回の解析のように、STATAやRを使って原論文データとほぼ同じ結果を再現できる。また、NetMetaXL(固定効果モデル)を使ったleague tableが以下である。
NetMetaXLを使った具体的な解析手順については、原論文もしくは、GRADE2版を参照していただきたい。

league table

注意すべきは、(前回の記事でもコメントしたように)、原論文においては、very low risk of biasの研究を除外したランキングを提示している。つまり、統計学的なNMAのランキングの解釈には注意が必要であり、著者がエビデンスの質を提示しない場合には、安易にその結果を受け入れるべきではない。さらには、ランキング表示においては、benefitのみではなく、riskについても必要である。

以上で、直接エビデンス、間接エビデンス、NMAエビデンスの推定値を入手できた。・・・・・

次回は、”GRADEを使ったNMAエビデンスの質評価”を、どのように実施するか、について紹介する。

NMAのエビデンス:連続アウトカム

2015年5月21日 Posted by aihara

NMAについて、連続アウトカムに関しては、けっこう面倒のようだ。

1年前に Doug Altmanに質問した際には、「(連続アウトカムのNMA推定値/調整間接推定値に関しては)いまだ手法が確立していないように思う」ということだった。

また Salanti/Chaimaniらに問い合わせた際も、「STATAによる連続アウトカムのNMAルーチンを作成すべく検討しており、完成したら連絡する」ということだったが、2015年5月の現在も発表されていない。

ここ数週間、連続アウトカムのNMAを調べていたが、・・・ やっと自分でも、「R」を使って、解析できた。

いつも思うことであるが、
「NMAの効果推定値の確信性は”低い”(GRADE QoE= low or very low)」と思うなあ。

NMAエビデンスの質を評価する-2: STATAを使った効果推定値

2015年5月18日 Posted by aihara

NMA論文におけるCQは以下のようなものである。
Foote CJ, et al:Which Surgical Treatment for Open Tibial Shaft Fractures Results in the Fewest Reoperations? A Network Meta-analysis.
Clin Orthop Relat Res. 2015 Feb 28

P:成人の脛骨開放骨折患者において、
I:整形外科的治療(Reamed nail, Unreamed nail, plate fixation, AO external fixation, Ender nail, Ilizarov fixation)は、
O:再手術に違いがあるか。

GRADE2版で解説しているSTATAを使って、ネットワークメタアナリシスを実施してみる。

ネットワークプロット

network

STATAを使ったNMAであり、ネットワークの形状としては、「複合ネットワーク」である。各介入ノードの大きさは、サンプルサイズの大きさに比例している。直接比較としての各ノードを結合している線のカラーは、risk of biasを示している(赤:high、緑色:low risk of bias)。

ネットワーク全体における直接比較の占める寄与度は、AvB(19.5%)、AvD(9.1%), BvC(24.4%), BvE(3.4%), CvD(12.4%)であり、全体としてはやや”限界”が多いことがわかる。

contribution

contribution plotとrisk of bias(RoB)を使って、NMAエビデンスの”限界”をGRADEにより評価すると(Salanti)、=19.5*(0) + 9.1*(0) + 24.4*(-2) + 3.4*(-2) + 12.4*(-2)=-0.8であり、研究の限界により、一段階グレードダウンとなる。しかし、NMA推定値に関するGRADEエビデンスの質に関しては、さらに、一貫性、直接性(推移性)、精確さ、出版バイアスなどを評価する必要がある。・・・Salanti手法による解析はGRADE2版を参照のこと。
A:Reamed, B: Unreamed, C:External(AO) fixation, D:Plate, E:Ender, F:Ilizov fixation

NMA推定値

forest

Unreamed vs Reamedの推定値は、OR 0.63 (0.34-1.17)であり、論文データ(OR=0.62, 0.37-1.03)と近似している。また、論文の表4で記載されている、Unreamed vs externalも、OR 0.42 (0.23-0.77)であり、論文データ(OR 0.38, 0.23-0.62)と近似している。なお、本フォレストプロットにおいては、95%信頼区間とともに、95%予測区間(赤の横線)も示している。

SUCRA(surface under the cumulative ranking curve)

sucra-0523-2 sucra-0523

原論文においては、Ender nailingとIlizov fixationに関しては、エビデンスの質が”very low”のため、それらを除外したSUCRAとランキングが記載されている。本解析においては、あえて統計学的なランキングが誤解を招く結果になりうることを提示するために、全ての介入に関するランキングを示した。

”非常に低”のエビデンスをランキング解析から除外することが、ランキングによる誤解を回避するひとつの手法といえることが、外科医向けのユーザーズガイドにも記載されている。

このように、STATA(version 13)を使って、論文データとほぼ同じ効果推定値を得ることができるが、STATAは高額である。
次回は、同じデータ利用して、Rを使ったネットワークメタアナリシスを紹介したい。

NMAエビデンスの質を評価する-1

2015年5月13日 Posted by aihara

GRADEを使ってNMAのエビデンスの質を評価する・・・・

評価の基本ステップはGRADE本に記載しているように、4段階である。

0513-2

オリジナル論文のデータを使って、上記の結果を再現してみたい。

Network meta-anlaysis: JAMAユーザーズガイド(批判的吟味ワークシート)

2015年5月1日 Posted by aihara

GRADE2版においては、ネットワークメタアナリシス(NMA)のエビデンスの質をGRADEを使って評価するアプローチについて解説しています。
NMAの解析に関しては、R、STATA、エクセルなどを使った手法を具体例を使って紹介しています。

NMAのエビデンスを利用する際には、解析手法に加えて、NAMで使用される専門用語を理解する必要がありすが、批判的吟味ワークシートを使った評価が基本です。

JAMA医学文献ユーザーズガイドに紹介している、DL用ワークシート#13が以下です。

ネットワークメタアナリシスの批判的吟味ワークシート

このシートはHow to Use an Article Reporting a Multiple Treatment Comparison Meta-analysis JAMA. 2012; 308(12): 1246-1253に記載されているユーザーズガイドを翻訳したものです。

nma_jama