●ランキングにおける問題
例えば、前回の例では、直接比較において、Ilizarov創外固定は、創外（External）固定と比較した場合に、再手術のオッズ比を60%減少します。

介入の全てについてランキング解析をすると、前回のランコグラムやSUCRAに示したように、Unreamed>Ilizarov>Ender>Reamed>External>Plateの順であった。しかし、たとえば、Ilizarov創外固定に関するbody of evidenceは、risk of biasが高い小規模試験1件だけ（総イベント数19件）である。つまり、当該治療のランキングの信頼性（credibility）は低いといえる。

このように、ランコグラムやSUCRAからは、risk of bias、非一貫性、非直接性、出版バイアスなどに関する情報は一切得られない。しかし、対比較のRoB、非一貫性、不精確さなどからランキングに関するエビデンスの質は、”very low”である。

注３：今回の私の解析ではあえて、全ての介入に関するランキングを示したが、論文著者らは、”Very low”のエビデンスを除外して解析したランキングを報告している。そのランキングは、Unreamed>Reamed>External>Plateであり、SUCRAはそれぞれ、86.3%, 54.4%, 24.1%, 3.6%である（論文の表6）。

●ranked forest plot:
ランキングによる誤解に対しては、質の低いエビデンスを除外する方法の他には、”ranked forest plots”(*)を表示する方法もある。
(*)Furukawa TA. Case study in psychiatry. In: Biondi-Zoccai G, edit. Network meta-analysis -Evidence synthesis with mixed treatment comparison. NY: Nova Science publishers; 2014, 325-337.

今回のデータを使ったranked forest plotでは、たとえば、効果が最低の治療（plate）を基準した比較のフォレストプロットをみると、以下のように、各治療の比較や効果の程度を視覚的に理解しやすくなる。

●ランコグラム
黄色のセルの部分が有意差がある比較です。

GRADEシステムにおいては、エビデンスの質を評価するための、基本項目がある。risk of bias、非一貫性、非直接性、出版バイアスである。

各直接比較に関しては、従来のGRADE基準をそのまま適用できる。NMA推定値に関しても、GRADEに準じた基準を使うことができる。NMA推定値の確実性（certainty：エビデンスの質、効果の確信性ともいう）を評価する際の具体的な指針として以下のようなものも発表されている。
Network Meta-analysis: Users’ Guide for Surgeons: Part II – Certainty

●各比較で、risk of biasは低いか（RoB）:
たとえば、今回引用したFooteらの論文においては、Reamed vs Unreamed比較の直接エビデンスは low RoBだったが、Ilizarov vs Externalの直接比較は、準ランダム化試験が組み入れられていることでブラインドが欠如しているためhigh RoBと判定されている。また、Salantiらが報告しているように、NMAエビデンスのRoB評価には、contribution plotのデータを使うことも可能である。

●出版バイアスの懸念はどうか:
否定的な試験が出版されないままに終わると出版バイアスが発生する。同じように、大部分が企業出資を受けている、肯定的な結果を示す一連の小規模研究もまた出版バイアスにつながる。NMAにおける出版バイアスの評価は簡単ではないが、いくつかの方法が報告されており、たとえば今回の例では以下のような結果である。

図a:comparison adjusted funnel plot

図b:contour-enhanced funnel plot with Trim and fill

バイアスはありそうではないといえる

●直接比較における研究結果の一貫性（異質性）：
たとえば、Reamed vs Unreamedの直接比較（4研究）では、点推定値は類似し、CIの重なりは広く、異質性検定のp値は0.61、I2=0%であり、一貫性が高いことが示されている。

●間接比較の移行性（推移性）：
Footeらは、Reamed vs Unreamed比較において間接推定値と直接推定値との大きな差は、非推移性によると評価し、間接エビデンスの質をグレードダウンとしている。

●直接比較と間接比較の結果は一貫しているか（整合性）：
前回述べたように、Reamed vs Unreamed比較には非整合性がある。なお、直接推定値とNMA推定値の比較も可能である（下図）。

●信頼区間または信用区間は十分に狭いか：
GRADEにおいては、効果推定値に関するランダム誤差の程度をデータの不精確さとして評価し、データの範囲を提示する。この範囲は、従来の頻度論的分析では信頼区間、ベイズ分析では信用区間として知られている。
NMAにおいては、十分なサンプルサイズを持つ複数の試験を統合して２つの介入を比較した場合には、CIは狭くなる可能性が高い。しかし、比較のためのエビデンスの大部分が間接推定値による場合は、CIは広くなる可能性が高い。
Reamed vs Unreamedの比較では、NMA推定値のCIの幅（Ln95%CI=1.0238）は直接推定値のCI（Ln95%CI=1.0136）よりも広くなっている。

***********************************************
別の比較であるUnreamed vs Externalをみてみると、以下である。

■Unreamed vs Externalに関するエビデンスの質評価と最良のエビデンスの決定

注：オリジナルの論文にない図表は、全て相原が論文データをもとに作成したものであり、それらの信用性については保証できません。

次回は、ランキングについてチャレンジしてみたい。

前回、前々回のネットワークメタアナリシス(NMA)について、GRADEを使ってエビデンスの質を評価すると以下のような手順となる。NMAエビデンスに関するGRADEアプローチの適用（４つのステップ）については、GRADE2版を参照していただきたい。

■Step-1: ネットワーク内の各比較について直接推定値と間接推定値を示す

■Step-2：直接推定値と間接推定値の質を等級する

■Step-3: NMA推定値を示す

■Step-4: NMA推定値を等級する

■エビデンステーブル

さて、我々は、Reamed vs Unreamedの比較に関して、直接エビデンスと間接エビデンスとNMAエビデンスのいずれを信用すべきだろうか

・・・答えは明らかに、エビデンスの質が“中(moderate)”の「直接エビデンス」である。
「リーマ不使用の釘固定術はリーマ使用の釘固定術に比べて、再手術のオッズ比を30％減少する」といえる。

間接比較による効果は非常に大きいが、その効果推定値に関する確信性は低く、過大評価しているのであろう。また、整合性がない直接推定値と間接推定値から混合推定値を得ることが適切とは思えない。

NMA論文におけるCQは以下のようなものである。
Foote CJ, et al:Which Surgical Treatment for Open Tibial Shaft Fractures Results in the Fewest Reoperations? A Network Meta-analysis.
Clin Orthop Relat Res. 2015 Feb 28

P:成人の脛骨開放骨折患者において、
I：整形外科的治療（Reamed nail, Unreamed nail, plate fixation, AO external fixation, Ender nail, Ilizarov fixation)は、
O:再手術に違いがあるか。

●GRADE2版で解説しているSTATAを使って、ネットワークメタアナリシスを実施してみる。

●ネットワークプロット

STATAを使ったNMAであり、ネットワークの形状としては、「複合ネットワーク」である。各介入ノードの大きさは、サンプルサイズの大きさに比例している。直接比較としての各ノードを結合している線のカラーは、risk of biasを示している（赤：high、緑色：low　risk of bias）。

●ネットワーク全体における直接比較の占める寄与度は、AvB（19.5%)、AvD(9.1%), BvC(24.4%), BvE(3.4%), CvD(12.4%)であり、全体としてはやや”限界”が多いことがわかる。

contribution plotとrisk of bias（RoB)を使って、NMAエビデンスの”限界”をGRADEにより評価すると（Salanti）、=19.5*(0) + 9.1*(0) + 24.4*(-2) + 3.4*(-2) + 12.4*(-2)=-0.8であり、研究の限界により、一段階グレードダウンとなる。しかし、NMA推定値に関するGRADEエビデンスの質に関しては、さらに、一貫性、直接性（推移性）、精確さ、出版バイアスなどを評価する必要がある。・・・Salanti手法による解析はGRADE2版を参照のこと。
A:Reamed, B: Unreamed, C:External(AO) fixation, D:Plate, E:Ender, F:Ilizov fixation

●NMA推定値

Unreamed vs Reamedの推定値は、OR 0.63 (0.34-1.17)であり、論文データ（OR=0.62, 0.37-1.03）と近似している。また、論文の表４で記載されている、Unreamed vs externalも、OR 0.42 (0.23-0.77)であり、論文データ（OR 0.38, 0.23-0.62）と近似している。なお、本フォレストプロットにおいては、95%信頼区間とともに、95%予測区間（赤の横線）も示している。

●SUCRA(surface under the cumulative ranking curve)

原論文においては、Ender nailingとIlizov fixationに関しては、エビデンスの質が”very low”のため、それらを除外したSUCRAとランキングが記載されている。本解析においては、あえて統計学的なランキングが誤解を招く結果になりうることを提示するために、全ての介入に関するランキングを示した。

”非常に低”のエビデンスをランキング解析から除外することが、ランキングによる誤解を回避するひとつの手法といえることが、外科医向けのユーザーズガイドにも記載されている。

このように、STATA（version 13）を使って、論文データとほぼ同じ効果推定値を得ることができるが、STATAは高額である。
次回は、同じデータ利用して、Rを使ったネットワークメタアナリシスを紹介したい。

GRADEを使ってNMAのエビデンスの質を評価する・・・・

評価の基本ステップはGRADE本に記載しているように、４段階である。

オリジナル論文のデータを使って、上記の結果を再現してみたい。