direct, indirect, mixed estimatesを提示する際にはその質を記載する必要があるが、以下に国内論文を２つ紹介する。

●例１
Miura T, et al. Comparative efficacy and tolerability of pharmacological treatments in the maintenance treatment of bipolar disorder: a systematic review and network meta-analysis. Lancet Psychiatry 2014;1: 351–59.

双極性障害治療に関するNMA論文です。採用しているエビデンスの質評価システムは、GRADEアプローチで、直接比較の異質性をheterogeneity、直接比較と間接比較の不一致をinconsistencyという定義で、Salantiらの基準に従ったものです。

本論文のsupplementary materialにGRADEの基本の５要因を使ったエビデンスの質評価が記載されています（下図）。

本論文は、国内で初めてGRADEを使ったNMA論文です。

●ランキングにおける問題
例えば、前回の例では、直接比較において、Ilizarov創外固定は、創外（External）固定と比較した場合に、再手術のオッズ比を60%減少します。

介入の全てについてランキング解析をすると、前回のランコグラムやSUCRAに示したように、Unreamed>Ilizarov>Ender>Reamed>External>Plateの順であった。しかし、たとえば、Ilizarov創外固定に関するbody of evidenceは、risk of biasが高い小規模試験1件だけ（総イベント数19件）である。つまり、当該治療のランキングの信頼性（credibility）は低いといえる。

このように、ランコグラムやSUCRAからは、risk of bias、非一貫性、非直接性、出版バイアスなどに関する情報は一切得られない。しかし、対比較のRoB、非一貫性、不精確さなどからランキングに関するエビデンスの質は、”very low”である。

注３：今回の私の解析ではあえて、全ての介入に関するランキングを示したが、論文著者らは、”Very low”のエビデンスを除外して解析したランキングを報告している。そのランキングは、Unreamed>Reamed>External>Plateであり、SUCRAはそれぞれ、86.3%, 54.4%, 24.1%, 3.6%である（論文の表6）。

●ranked forest plot:
ランキングによる誤解に対しては、質の低いエビデンスを除外する方法の他には、”ranked forest plots”(*)を表示する方法もある。
(*)Furukawa TA. Case study in psychiatry. In: Biondi-Zoccai G, edit. Network meta-analysis -Evidence synthesis with mixed treatment comparison. NY: Nova Science publishers; 2014, 325-337.

今回のデータを使ったranked forest plotでは、たとえば、効果が最低の治療（plate）を基準した比較のフォレストプロットをみると、以下のように、各治療の比較や効果の程度を視覚的に理解しやすくなる。

●ランコグラム
黄色のセルの部分が有意差がある比較です。

GRADEシステムにおいては、エビデンスの質を評価するための、基本項目がある。risk of bias、非一貫性、非直接性、出版バイアスである。

各直接比較に関しては、従来のGRADE基準をそのまま適用できる。NMA推定値に関しても、GRADEに準じた基準を使うことができる。NMA推定値の確実性（certainty：エビデンスの質、効果の確信性ともいう）を評価する際の具体的な指針として以下のようなものも発表されている。
Network Meta-analysis: Users’ Guide for Surgeons: Part II – Certainty

●各比較で、risk of biasは低いか（RoB）:
たとえば、今回引用したFooteらの論文においては、Reamed vs Unreamed比較の直接エビデンスは low RoBだったが、Ilizarov vs Externalの直接比較は、準ランダム化試験が組み入れられていることでブラインドが欠如しているためhigh RoBと判定されている。また、Salantiらが報告しているように、NMAエビデンスのRoB評価には、contribution plotのデータを使うことも可能である。

●出版バイアスの懸念はどうか:
否定的な試験が出版されないままに終わると出版バイアスが発生する。同じように、大部分が企業出資を受けている、肯定的な結果を示す一連の小規模研究もまた出版バイアスにつながる。NMAにおける出版バイアスの評価は簡単ではないが、いくつかの方法が報告されており、たとえば今回の例では以下のような結果である。

図a:comparison adjusted funnel plot

図b:contour-enhanced funnel plot with Trim and fill

バイアスはありそうではないといえる

●直接比較における研究結果の一貫性（異質性）：
たとえば、Reamed vs Unreamedの直接比較（4研究）では、点推定値は類似し、CIの重なりは広く、異質性検定のp値は0.61、I2=0%であり、一貫性が高いことが示されている。

●間接比較の移行性（推移性）：
Footeらは、Reamed vs Unreamed比較において間接推定値と直接推定値との大きな差は、非推移性によると評価し、間接エビデンスの質をグレードダウンとしている。

●直接比較と間接比較の結果は一貫しているか（整合性）：
前回述べたように、Reamed vs Unreamed比較には非整合性がある。なお、直接推定値とNMA推定値の比較も可能である（下図）。

●信頼区間または信用区間は十分に狭いか：
GRADEにおいては、効果推定値に関するランダム誤差の程度をデータの不精確さとして評価し、データの範囲を提示する。この範囲は、従来の頻度論的分析では信頼区間、ベイズ分析では信用区間として知られている。
NMAにおいては、十分なサンプルサイズを持つ複数の試験を統合して２つの介入を比較した場合には、CIは狭くなる可能性が高い。しかし、比較のためのエビデンスの大部分が間接推定値による場合は、CIは広くなる可能性が高い。
Reamed vs Unreamedの比較では、NMA推定値のCIの幅（Ln95%CI=1.0238）は直接推定値のCI（Ln95%CI=1.0136）よりも広くなっている。

***********************************************
別の比較であるUnreamed vs Externalをみてみると、以下である。

■Unreamed vs Externalに関するエビデンスの質評価と最良のエビデンスの決定

注：オリジナルの論文にない図表は、全て相原が論文データをもとに作成したものであり、それらの信用性については保証できません。

次回は、ランキングについてチャレンジしてみたい。

前回、前々回のネットワークメタアナリシス(NMA)について、GRADEを使ってエビデンスの質を評価すると以下のような手順となる。NMAエビデンスに関するGRADEアプローチの適用（４つのステップ）については、GRADE2版を参照していただきたい。

■Step-1: ネットワーク内の各比較について直接推定値と間接推定値を示す

■Step-2：直接推定値と間接推定値の質を等級する

■Step-3: NMA推定値を示す

■Step-4: NMA推定値を等級する

■エビデンステーブル

さて、我々は、Reamed vs Unreamedの比較に関して、直接エビデンスと間接エビデンスとNMAエビデンスのいずれを信用すべきだろうか

・・・答えは明らかに、エビデンスの質が“中(moderate)”の「直接エビデンス」である。
「リーマ不使用の釘固定術はリーマ使用の釘固定術に比べて、再手術のオッズ比を30％減少する」といえる。

間接比較による効果は非常に大きいが、その効果推定値に関する確信性は低く、過大評価しているのであろう。また、整合性がない直接推定値と間接推定値から混合推定値を得ることが適切とは思えない。