Category: ‘network meta-analysis’

NMAエビデンスの質を評価する-(3): gemtc/R

2015年5月25日 Posted by aihara

前回のSTATAを使った解析を、GRADE2版で解説しているgemtc/Rを使って繰り返してみる。

●ネットワークプロット
当然のことであるが、ネットワーク構造は前回のSTATAと同じである。

以下のグラフからもわかるように、現バージョン(ver. 0.6)のgemtcによるネットワークプロットは、STATAによるものと比べるといくつのかの点で劣っている。たとえば、ノードの大きさや稜線の太さを変更できない。また、ネットワークプロットにrisk of biasを反映させることができない。

A:Reamed, B: Unreamed, C:External(AO)_fixation, D:Plate, E:Ender, F:Ilizarov fixation
gemtc_plot

●NMA推定値
Reamed nailをコントロールとして比較したものが以下の結果である。Unreamed vs Reamead のNMA効果推定値は、OR 0.62 (95%CI 0.37-1.0)であり、論文データと同じである。

forest_vs Control

(注)node splitting法による解析結果が以下で、直接推定値、間接推定値、NMA推定値が示されている。
forest_nodeSp

●調整間接比較(adjusted indirect comparison)は、単純計算により算出可能である
2つの比較からの調整間接比較や、直接推定値と間接推定値の値から混合推定値を算出することは、エクセルを使うことでも可能であり、逆に、NMA推定と直接推定値から、間接推定値を求めることもできる(Bucher method)。

aic

Ranking:
gemtc/Rにおいては、STATAと異なり、SUCRAを表示することはできない。しかし、各介入のランキングの作成(ランコグラム)は可能である(下図)。X軸には介入の種類を、Y軸には、各ラインキングの割合を棒グラフで示している。なお、gemtc/Rの前の古い”gemtc-gui”を使うとランキングをカラー表示できるが、現在gemtc開発者のGertらは、NMAのすべてをRパッケージとしてのgemtcとsmaa、もしくはADDISを使ったものに移行している(smaaやADDISソフトは複雑で難解である)。

ranking ranking2

図から明らかなように、ランキング一位の確率が高いのは治療Bと治療Fであり、治療Dは最下位の確率が高い、と言える(前回のSTATAを使ったsucra図において、介入名称の一部に誤りがあり変更しました)。

●League table:
前回と今回の解析のように、STATAやRを使って原論文データとほぼ同じ結果を再現できる。また、NetMetaXL(固定効果モデル)を使ったleague tableが以下である。
NetMetaXLを使った具体的な解析手順については、原論文もしくは、GRADE2版を参照していただきたい。

league table

注意すべきは、(前回の記事でもコメントしたように)、原論文においては、very low risk of biasの研究を除外したランキングを提示している。つまり、統計学的なNMAのランキングの解釈には注意が必要であり、著者がエビデンスの質を提示しない場合には、安易にその結果を受け入れるべきではない。さらには、ランキング表示においては、benefitのみではなく、riskについても必要である。

以上で、直接エビデンス、間接エビデンス、NMAエビデンスの推定値を入手できた。・・・・・

次回は、”GRADEを使ったNMAエビデンスの質評価”を、どのように実施するか、について紹介する。

NMAのエビデンス:連続アウトカム

2015年5月21日 Posted by aihara

NMAについて、連続アウトカムに関しては、けっこう面倒のようだ。

1年前に Doug Altmanに質問した際には、「(連続アウトカムのNMA推定値/調整間接推定値に関しては)いまだ手法が確立していないように思う」ということだった。

また Salanti/Chaimaniらに問い合わせた際も、「STATAによる連続アウトカムのNMAルーチンを作成すべく検討しており、完成したら連絡する」ということだったが、2015年5月の現在も発表されていない。

ここ数週間、連続アウトカムのNMAを調べていたが、・・・ やっと自分でも、「R」を使って、解析できた。

いつも思うことであるが、
「NMAの効果推定値の確信性は”低い”(GRADE QoE= low or very low)」と思うなあ。

NMAエビデンスの質を評価する-2: STATAを使った効果推定値

2015年5月18日 Posted by aihara

NMA論文におけるCQは以下のようなものである。
Foote CJ, et al:Which Surgical Treatment for Open Tibial Shaft Fractures Results in the Fewest Reoperations? A Network Meta-analysis.
Clin Orthop Relat Res. 2015 Feb 28

P:成人の脛骨開放骨折患者において、
I:整形外科的治療(Reamed nail, Unreamed nail, plate fixation, AO external fixation, Ender nail, Ilizarov fixation)は、
O:再手術に違いがあるか。

GRADE2版で解説しているSTATAを使って、ネットワークメタアナリシスを実施してみる。

ネットワークプロット

network

STATAを使ったNMAであり、ネットワークの形状としては、「複合ネットワーク」である。各介入ノードの大きさは、サンプルサイズの大きさに比例している。直接比較としての各ノードを結合している線のカラーは、risk of biasを示している(赤:high、緑色:low risk of bias)。

ネットワーク全体における直接比較の占める寄与度は、AvB(19.5%)、AvD(9.1%), BvC(24.4%), BvE(3.4%), CvD(12.4%)であり、全体としてはやや”限界”が多いことがわかる。

contribution

contribution plotとrisk of bias(RoB)を使って、NMAエビデンスの”限界”をGRADEにより評価すると(Salanti)、=19.5*(0) + 9.1*(0) + 24.4*(-2) + 3.4*(-2) + 12.4*(-2)=-0.8であり、研究の限界により、一段階グレードダウンとなる。しかし、NMA推定値に関するGRADEエビデンスの質に関しては、さらに、一貫性、直接性(推移性)、精確さ、出版バイアスなどを評価する必要がある。・・・Salanti手法による解析はGRADE2版を参照のこと。
A:Reamed, B: Unreamed, C:External(AO) fixation, D:Plate, E:Ender, F:Ilizov fixation

NMA推定値

forest

Unreamed vs Reamedの推定値は、OR 0.63 (0.34-1.17)であり、論文データ(OR=0.62, 0.37-1.03)と近似している。また、論文の表4で記載されている、Unreamed vs externalも、OR 0.42 (0.23-0.77)であり、論文データ(OR 0.38, 0.23-0.62)と近似している。なお、本フォレストプロットにおいては、95%信頼区間とともに、95%予測区間(赤の横線)も示している。

SUCRA(surface under the cumulative ranking curve)

sucra-0523-2 sucra-0523

原論文においては、Ender nailingとIlizov fixationに関しては、エビデンスの質が”very low”のため、それらを除外したSUCRAとランキングが記載されている。本解析においては、あえて統計学的なランキングが誤解を招く結果になりうることを提示するために、全ての介入に関するランキングを示した。

”非常に低”のエビデンスをランキング解析から除外することが、ランキングによる誤解を回避するひとつの手法といえることが、外科医向けのユーザーズガイドにも記載されている。

このように、STATA(version 13)を使って、論文データとほぼ同じ効果推定値を得ることができるが、STATAは高額である。
次回は、同じデータ利用して、Rを使ったネットワークメタアナリシスを紹介したい。

NMAエビデンスの質を評価する-1

2015年5月13日 Posted by aihara

GRADEを使ってNMAのエビデンスの質を評価する・・・・

評価の基本ステップはGRADE本に記載しているように、4段階である。

0513-2

オリジナル論文のデータを使って、上記の結果を再現してみたい。

Network meta-anlaysis: JAMAユーザーズガイド(批判的吟味ワークシート)

2015年5月1日 Posted by aihara

GRADE2版においては、ネットワークメタアナリシス(NMA)のエビデンスの質をGRADEを使って評価するアプローチについて解説しています。
NMAの解析に関しては、R、STATA、エクセルなどを使った手法を具体例を使って紹介しています。

NMAのエビデンスを利用する際には、解析手法に加えて、NAMで使用される専門用語を理解する必要がありすが、批判的吟味ワークシートを使った評価が基本です。

JAMA医学文献ユーザーズガイドに紹介している、DL用ワークシート#13が以下です。

ネットワークメタアナリシスの批判的吟味ワークシート

このシートはHow to Use an Article Reporting a Multiple Treatment Comparison Meta-analysis JAMA. 2012; 308(12): 1246-1253に記載されているユーザーズガイドを翻訳したものです。

nma_jama

ネットワークメタアナリシスのエビデンスの質

2014年6月21日 Posted by aihara

ネットワークメタアナリシスの全体的なエビデンスの質(QoE)評価は、きわめて難しい。エキスパートの意見が強く影響し、結果的に推奨の強さも偏り安いように思います。
図は、自分で出力したネットワーク内の直接・間接比較のRisk of biasですが、自分で解析処理してみると、いかに恣意的な判断になりやすいかがよくわかります。

 

nma-0621

 

JAMAユーザーズガイドにおいても、ネットワークメタアナリシス(NMA)の解釈について発表されたように、効果推定値の確信性の評価は非常に難解です。
GRADEワーキンググループは、NMAに関する評価手法を確立しようとしていますが、naive direct comparison、indirect comparison(間接比較)、さらにNMAのエビデンスの質を判断するためには、GRADEアプローチの基本の理解が必須です。そのためには、唯一のGRADEの教科書である「診療ガイドラインのためのGRADEシステム」を参照ください。(注:下記本においては間接エビデンスの評価については解析していますが、NMAについては解説していません。)

 

grade_book_0621

ネットワークメタアナリシスにおけるrisk of bias

2014年6月7日 Posted by aihara

network meta-analysis(NMA)においては、単に統合値を算出するだけではなく、各比較に寄与した研究のRisk of bias(RoB)を提示すべきと思います。

なぜなら、我々は、”間接エビデンスのQuality”を知りたい。

下図は、私が、あるサンプルデータを使ってNMAを実施し(*)に各armのrisk of bias結果を表示したものです。コクランに準じて、high, unclear, lowで評価し、各々をカラー(3種類で対応)表示したもので、Nodeの大きさは、研究の大きさを反映しています。

(*) NMA解析においてはSTATA13を利用しましたが、OpenBUGSやRでは効果推定値算出やフォレストプロット表示はできるものの、RoBの表示はできませんでした。

NMAにおいては、このように提示すべきということではなく、・・・・

何を主張したいのかというと、
「NMAの著者は、患者にとって重要なアウトカムに関して、間接比較のRoBを提示し、NMAによる統合エビデンスの”質”を明記してほしい。できたらば、そのエビデンスの質はGRADEアプローチを使って評価していただきたい」ということです。

単にNMAによるデータや各薬剤のランキングを示されても、エビデンスの質(効果推定値が正しいという確信性)が解らなければ、意思決定のための推奨の程度もわからない、ということです。
(例、抗鬱剤に関するNMAにおいても、各研究の”バイアスのリスク”はどうだったのだろうか、と疑問に思います)

nma_rob

Network meta-analaysisの報告者は、間接比較、直接比較および統合エビデンスの質を提示すべきである

2014年5月29日 Posted by aihara

network meta-anlaysis(NMA)に関しては、自分でいくつかの論文データを入力してNMAを実施してみて気づきましたが、多くの既報論文においては、各研究のRoBあるいはNMAのRoB、直接比較と間接比較との整合性・一致性の報告は不十分で、さらにはNMAの全体的なエビデンスの質、などの報告はほとんどありません。

そして、ネットワークにおける認容率と反応率のわずかな統計学的解析結果の発表や薬剤ランキングの作成などによる、偏ったエビデンスにより推奨が決定されているように思います。

”エビデンスはアウトカムごとに評価しないといけない、そして、推奨を決める要因は、エビデンスだけではない”が、GRADEの基本です。

NMA手法の独特な複雑性のために正当な反論というか、NMAに関する、あるべき標準的な批判的吟味ができてない状況が、国内の一部の診療領域でおきているようが気がします。

NMAは、方法論としてのハードルは高いものの(R, OpenBUGS, STATAなど)、実は一般MAと同じようなものです。

ただ、NMAを自身で実施すると、通常のNMには決して味わえない、”お~、解析を実施している!”という感動が(統計学者になったかのような誤解とともに)味わえることは確かです。 (^^)
自分で、(エクセルデータを利用して)NMAを実施して以下のような結果を得ることができると、自分がNMAをできるように勘違いしてしまいます。

NMA-0529

しかし、重要なことは、選択研究を含めて「結果は妥当か」、「結果は何か」、「結果を患者ケアにどのように適用できるか」、というEBMの基本3ステップというか、Evidece Cycleの基本5Aであり、SRにおいてはエビデンスの質を、CPGにおいては推奨の強さとエビデンスの質の双方を提示しないといけません。

ところが、このNMAのエビデンスの質評価と推奨の強さの判断は相当に難しい。

Network Meta-analysis論文の批判的吟味

2013年8月31日 Posted by aihara

Multiple Treatment Comparison Meta-analysis, Network Meta-analysis(NMA) 論文の批判的吟味はどのようにするのかというガイドが 、USERS’ GUIDES TO THE MEDICAL LITERATUREに記載されています。

How to Use an Article Reporting a Multiple Treatment Comparison Meta-analysis. JAMA. 2012;308(12):1246-1253

nma

本内容を翻訳したものを、webサイトのJAMA医学文献ユーザーズガイドにアップしました。
Clinical Appraisal Worksheets #13: NMA.pdf

医学文献ユーザーズガイド(第2版)に記載されている、治療、診断、予後、SR, CPGなどの批判的吟味のためのワークシートも同サイトに公開していますが、すべてEBMの実践・教育においてとても役立つものですので自由にご利用ください。

2

注:残念ながら上記論文の全訳公開は許可が得られませんでした。

ネットワーク・メタアナリシス(NMA)のGRADEエビデンス

2013年8月30日 Posted by aihara

GRADEアプローチにおけるエビデンスの質を下げる5要因の一つが、「非直接性(indirectness)」です。

GRADE JCEシリーズ
GRADEガイドライン: 8. エビデンスの質評価 – 非直接性(indirectness)

JCE誌のGRADEシリーズで発表されているように、エビデンスは以下の4つのいずれかにより”非直接的”と判断されますが、直接比較ではない介入の効果を解析する方法の一つにNetwork meta-analysis(NMA)があります。

indirectness

では、head-to-headの直接比較ではない場合は、どのように対処するのだろうか?

間接比較を扱ったNMAのエビデンスについてGRADEを適応するアプローチがGRADE WGより発表されています。(web公開原稿より:今後改変される可能性あり)

nma

すなわち、質の高い直接比較エビデンスがあるならばそれを採用し、質の高い直接比較エビデンスがないならば間接比較のエビデンスの質を評価する。そして、可能ならば両者のエビデンスを統合してGRADE基準により質を評価する。