前回のSTATAを使った解析を、GRADE2版で解説しているgemtc/Rを使って繰り返してみる。

●ネットワークプロット
当然のことであるが、ネットワーク構造は前回のSTATAと同じである。

以下のグラフからもわかるように、現バージョン(ver. 0.6)のgemtcによるネットワークプロットは、STATAによるものと比べるといくつのかの点で劣っている。たとえば、ノードの大きさや稜線の太さを変更できない。また、ネットワークプロットにrisk of biasを反映させることができない。

A:Reamed, B: Unreamed, C:External(AO)_fixation, D:Plate, E:Ender, F:Ilizarov fixation

●NMA推定値
Reamed nailをコントロールとして比較したものが以下の結果である。Unreamed　vs Reamead のNMA効果推定値は、OR 0.62 (95%CI 0.37-1.0)であり、論文データと同じである。

（注）node splitting法による解析結果が以下で、直接推定値、間接推定値、NMA推定値が示されている。

●調整間接比較（adjusted indirect comparison）は、単純計算により算出可能である
２つの比較からの調整間接比較や、直接推定値と間接推定値の値から混合推定値を算出することは、エクセルを使うことでも可能であり、逆に、NMA推定と直接推定値から、間接推定値を求めることもできる(Bucher method)。

●Ranking:
gemtc/Rにおいては、STATAと異なり、SUCRAを表示することはできない。しかし、各介入のランキングの作成（ランコグラム）は可能である（下図）。X軸には介入の種類を、Y軸には、各ラインキングの割合を棒グラフで示している。なお、gemtc/Rの前の古い”gemtc-gui”を使うとランキングをカラー表示できるが、現在gemtc開発者のGertらは、NMAのすべてをRパッケージとしてのgemtcとsmaa、もしくはADDISを使ったものに移行している（smaaやADDISソフトは複雑で難解である）。

図から明らかなように、ランキング一位の確率が高いのは治療Bと治療Fであり、治療Dは最下位の確率が高い、と言える（前回のSTATAを使ったsucra図において、介入名称の一部に誤りがあり変更しました）。

●League table:
前回と今回の解析のように、STATAやRを使って原論文データとほぼ同じ結果を再現できる。また、NetMetaXL(固定効果モデル)を使ったleague tableが以下である。
NetMetaXLを使った具体的な解析手順については、原論文もしくは、GRADE2版を参照していただきたい。

注意すべきは、（前回の記事でもコメントしたように）、原論文においては、very low risk of biasの研究を除外したランキングを提示している。つまり、統計学的なNMAのランキングの解釈には注意が必要であり、著者がエビデンスの質を提示しない場合には、安易にその結果を受け入れるべきではない。さらには、ランキング表示においては、benefitのみではなく、riskについても必要である。

以上で、直接エビデンス、間接エビデンス、NMAエビデンスの推定値を入手できた。・・・・・

次回は、”GRADEを使ったNMAエビデンスの質評価”を、どのように実施するか、について紹介する。

NMAについて、連続アウトカムに関しては、けっこう面倒のようだ。

1年前に Doug Altmanに質問した際には、「（連続アウトカムのNMA推定値/調整間接推定値に関しては）いまだ手法が確立していないように思う」ということだった。

また Salanti/Chaimaniらに問い合わせた際も、「STATAによる連続アウトカムのNMAルーチンを作成すべく検討しており、完成したら連絡する」ということだったが、2015年5月の現在も発表されていない。

ここ数週間、連続アウトカムのNMAを調べていたが、・・・　やっと自分でも、「R」を使って、解析できた。

いつも思うことであるが、
「NMAの効果推定値の確信性は”低い”（GRADE QoE= low or very low）」と思うなあ。

NMA論文におけるCQは以下のようなものである。
Foote CJ, et al:Which Surgical Treatment for Open Tibial Shaft Fractures Results in the Fewest Reoperations? A Network Meta-analysis.
Clin Orthop Relat Res. 2015 Feb 28

P:成人の脛骨開放骨折患者において、
I：整形外科的治療（Reamed nail, Unreamed nail, plate fixation, AO external fixation, Ender nail, Ilizarov fixation)は、
O:再手術に違いがあるか。

●GRADE2版で解説しているSTATAを使って、ネットワークメタアナリシスを実施してみる。

●ネットワークプロット

STATAを使ったNMAであり、ネットワークの形状としては、「複合ネットワーク」である。各介入ノードの大きさは、サンプルサイズの大きさに比例している。直接比較としての各ノードを結合している線のカラーは、risk of biasを示している（赤：high、緑色：low　risk of bias）。

●ネットワーク全体における直接比較の占める寄与度は、AvB（19.5%)、AvD(9.1%), BvC(24.4%), BvE(3.4%), CvD(12.4%)であり、全体としてはやや”限界”が多いことがわかる。

contribution plotとrisk of bias（RoB)を使って、NMAエビデンスの”限界”をGRADEにより評価すると（Salanti）、=19.5*(0) + 9.1*(0) + 24.4*(-2) + 3.4*(-2) + 12.4*(-2)=-0.8であり、研究の限界により、一段階グレードダウンとなる。しかし、NMA推定値に関するGRADEエビデンスの質に関しては、さらに、一貫性、直接性（推移性）、精確さ、出版バイアスなどを評価する必要がある。・・・Salanti手法による解析はGRADE2版を参照のこと。
A:Reamed, B: Unreamed, C:External(AO) fixation, D:Plate, E:Ender, F:Ilizov fixation

●NMA推定値

Unreamed vs Reamedの推定値は、OR 0.63 (0.34-1.17)であり、論文データ（OR=0.62, 0.37-1.03）と近似している。また、論文の表４で記載されている、Unreamed vs externalも、OR 0.42 (0.23-0.77)であり、論文データ（OR 0.38, 0.23-0.62）と近似している。なお、本フォレストプロットにおいては、95%信頼区間とともに、95%予測区間（赤の横線）も示している。

●SUCRA(surface under the cumulative ranking curve)

原論文においては、Ender nailingとIlizov fixationに関しては、エビデンスの質が”very low”のため、それらを除外したSUCRAとランキングが記載されている。本解析においては、あえて統計学的なランキングが誤解を招く結果になりうることを提示するために、全ての介入に関するランキングを示した。

”非常に低”のエビデンスをランキング解析から除外することが、ランキングによる誤解を回避するひとつの手法といえることが、外科医向けのユーザーズガイドにも記載されている。

このように、STATA（version 13）を使って、論文データとほぼ同じ効果推定値を得ることができるが、STATAは高額である。
次回は、同じデータ利用して、Rを使ったネットワークメタアナリシスを紹介したい。

GRADEを使ってNMAのエビデンスの質を評価する・・・・

評価の基本ステップはGRADE本に記載しているように、４段階である。

オリジナル論文のデータを使って、上記の結果を再現してみたい。

GRADE2版においては、ネットワークメタアナリシス（NMA）のエビデンスの質をGRADEを使って評価するアプローチについて解説しています。
NMAの解析に関しては、R、STATA、エクセルなどを使った手法を具体例を使って紹介しています。

NMAのエビデンスを利用する際には、解析手法に加えて、NAMで使用される専門用語を理解する必要がありすが、批判的吟味ワークシートを使った評価が基本です。

JAMA医学文献ユーザーズガイドに紹介している、DL用ワークシート#13が以下です。

ネットワークメタアナリシスの批判的吟味ワークシート

このシートはHow to Use an Article Reporting a Multiple Treatment Comparison Meta-analysis JAMA. 2012; 308(12): 1246-1253に記載されているユーザーズガイドを翻訳したものです。

network meta-analysis(NMA)においては、単に統合値を算出するだけではなく、各比較に寄与した研究のRisk of bias(RoB)を提示すべきと思います。

なぜなら、我々は、”間接エビデンスのQuality”を知りたい。

下図は、私が、あるサンプルデータを使ってNMAを実施し(*)に各armのrisk of bias結果を表示したものです。コクランに準じて、high, unclear, lowで評価し、各々をカラー（3種類で対応）表示したもので、Nodeの大きさは、研究の大きさを反映しています。

(*) NMA解析においてはSTATA13を利用しましたが、OpenBUGSやRでは効果推定値算出やフォレストプロット表示はできるものの、RoBの表示はできませんでした。

NMAにおいては、このように提示すべきということではなく、・・・・

何を主張したいのかというと、
「NMAの著者は、患者にとって重要なアウトカムに関して、間接比較のRoBを提示し、NMAによる統合エビデンスの”質”を明記してほしい。できたらば、そのエビデンスの質はGRADEアプローチを使って評価していただきたい」ということです。

単にNMAによるデータや各薬剤のランキングを示されても、エビデンスの質（効果推定値が正しいという確信性）が解らなければ、意思決定のための推奨の程度もわからない、ということです。
（例、抗鬱剤に関するNMAにおいても、各研究の”バイアスのリスク”はどうだったのだろうか、と疑問に思います）