GRADE working groupのwebサイトで掲載されている、GRADEアプローチを適切に使った診療ガイドラインのリストに、日本からは、2件の歯科診療ガイドラインが紹介されました。
http://www.gradeworkinggroup.org/guidelines/index.htm
すばらしいですね。GRADErの一人としては、とても嬉しいです。
なお、「GRADEを利用した国内の診療ガイドライン」においても、適切なものとして評価紹介しています
今後、国内からGRADEガイドラインとしてGRADE working groupに掲載希望の連絡があっても、その手法が不適切ならば、（以前から申し上げているように）私から”GRADEを使ったとする最低の基準を満たしていない診療ガイドラインに該当します”と連絡するつもりですのでご注意していただきたい。
Mindsが公開している、診療ガイドライン作成FAQ（2015/3/24）においては、Minds手引き2007とMinds手引き2014の選定基準や、部分改訂における推奨の強さの基準の並存、について、以下のように記載されています。
●手引き2007と手引き2014とMindsの選定基準
| Q | 改訂の場合に2007版のマイナーチェンジで継続するか、2014版に新たに準拠するよう変更するかは策定組織に任される事項とは存じますが、委員会で方針を協議する上で今後の展開を考慮して示唆いただけるご意見がございましたらお伺いしたく存じます |
| A |
ワークショップの内容は、Minds作成の手引き2007版の多くを踏襲していますが、内容の整備を進め、Minds作成の手引き2014年版としてまとめました。 また、Mindsでは診療ガイドラインを系統的に検索し、AGREE IIに基づいた評価を実施し、作成プロセスから信頼性が高いと考えられる診療ガイドラインを選定していますが、この評価選定の基準を変更することはありません。今後、基準の変更を行う際には、事前に作成グループのご意見を伺うステップを踏みます。 |
●部分改訂における推奨の強さの基準の並存
| Q | 先行版では、個々の文献にエビデンスレベルを表記し、それにもとづいて推奨の強さを表記していましたが、新しいCQを追加して作成する部分改訂版では、エビデンス総体の考え方にもとづいたエビデンスの強さ、推奨の強さをつけようと考えています。そのために、１つの診療ガイドラインの中に複数の基準が並存することになってしまいますが、そのような場合の適切な対応方法はありますか。 |
| A | 具体的な記載事例についてまだ把握しておりませんが、①診療ガイドラインの部分改訂としての位置づけを明記し、②エビデンスの強さと推奨の強さの基準が推奨ごとに区別されていることが明確に記載できていれば問題ないと考えます。また、利用者によるレビューで検証する方法もあります。最終的には作成グループで方針を決定してください。 |
このような回答では、CPG作成当事者は対応に困るでしょう。
他のFAQ項目についても疑問のものが多く、診療ガイドラインに関するワークショップを10回も開催して、この程度ということには驚くばかりです。
”我々の手法は、GRADEを真似したものなので、GRADEワーキンググループが公開しているFAQを読んでください” と記載すればよいだけのことでしょうが、おかしなプライドがそうさせないのでしょう。
以前私が参加したMinds会議や、Mindsワークショップにおいて、特命理事の山口先生は、（ワークショップの後のメールのやりとりでも）以下の私のお願いについて了承することを約束してくれました。
(1)Mindsが採用している手法は、GRADEシステムを利用したものなので、GRADE採用と、手引きにおけるGRADEの引用を明記してほしい（その結果については、私からGordonに報告したい）。
(2)したがってGRADE理解を助けるためにも、GRADEのFAQを和訳した以下のものを、Mindsサイトにおいて、公開するか、当方が作成したFAQ翻訳版へのリンクを提示してほしい。
●FAQ1；http://www.grade-jpn.com/grade-faq-test1.html
●FAQ2：http://www.grade-jpn.com/grade-faq-test2.html
(3)MindsがGRADEシステム採用を明言するならば、GRADE FAQ翻訳版を、正式にMindsのwebサイトで公開してほしい（その場合は、暫定的に公開しているだけの”当方のFAQ翻訳”を削除する）。
約束を反故にされて数年警戒した今、Mindsシステムは、とてもおかしな方向に進んでいます。
Minds FAQにある不適切な記載内容の結果や、推奨の強さを決定するGRADEの基本を理解していない方々が作成した手引きでは・・・・・当然のごとく、以下のような診療ガイドラインが生まれるというわけです。
EBMの手法による肺がん診療ガイドライン（2014年版）
https://www.haigan.gr.jp/guideline/2014/jo/14002014ho00.html
この肺がん診療ガイドラインの手法は、”Minds2007手引き”です。
時代に逆行して、問題のあるMinds2007を利用して取り組んだパネルには、ごくろうさまでしたと言いたい。
整合性に欠ける推奨の国内診療ガイドライン例を以下に紹介します。
●診療ガイドライン：機能性消化管疾患診療ガイドライン2014ー機能性ディスペプシア（FD）:日本消化器病学会
臨床疑問（CQ3-5)：FDの診療に心理社会的因子の評価は必要か？
| ステートメント | 推奨の強さ （同意率） |
エビデンスレベル |
|
FDの診療に心理社会的因子の評価は必要であり、行うことを推奨する |
1 |
C |
|
解説: |
||
|
文献： (2)中井吉秀、石野振一郎、福永幹彦.心身症としてのNUD/FD診療治療ガイドライン. 厚生労働省精神・神経疾患研究委託費総括研究報告書ー心身症の診断・治療ガイドライン作成とその実証. 2002:p27-28（ガイドライン） |
||
この”整合性に欠ける推奨”とエビデンスの等級づけは、妥当なものなのだろうか？
パネルの考え方次第であるという反論もあろうかと思いますが、少なくともGRADEワーキンググループは、このような推奨を作成することを勧めてはいません。後述の文献3と合わせて以下を参考にしていただきたい。
[整合性に欠ける推奨の吟味]
●GRADEが提唱する”整合性に欠ける推奨”に関する５つの最適分類のいずれかに合致しているか？・・・・No
●GRADEの指針に反すると判断される”整合性に欠ける推奨”の３分類のいずれかに合致しているか？・・・・Yes
|
評価理由: (2)この推奨（GRADE 1）に関するエビデンスの質（C）は、誤っています。記載文献をみても明らかなように、このケースコントロール研究は、単独研究であり、エビデンスの質としては、”D”（非常に低）とすべきです。ただし、本ガイドラインパネルの全員がその判定に同意しているので、ガイドライン冊子に記載されている解説内容以外の判定要因がある可能性を否定できません。 (3)この推奨の根拠としての研究は、（抄録のみによる判断ですが）FDと十二指腸潰瘍を比較しているように見えます。いずれにしても、この推奨に関する解説内容からは比較対照がわからず、これは、WHOガイドラインと同様の問題といえます。 (4)ちなみに、本診療ガイドラインにおいて、GRADEが適切に利用されたかどうかを評価すると、”不適切”という結果です。→ 機能性ディスペプシア（FD）ガイドライン 文献3：Guyatt GH et al. Guideline panels should not GRADE good practice statements. |
上記は、あくまで個人的な評価です。
次回は、”ガイドラインパネルは、優れた医療慣行に関する記述をグレードすべきではない”について概略を紹介したいと思います。
この論文の概略は以下のようなものです（不明な点は、オリジナル論文を確認ください）。
***********************************************************************
WHOが発表する強い推奨の多くは、効果推定値の確信性が「低」または「非常に低」に過ぎないエビデンスに基づくものであることを確認している（整合性に欠ける推奨（discordant recommendation））。GRADEの指針では、このような整合性に欠ける推奨が適切であることは稀であるとする一方で、整合性に欠ける推奨が是認されうる5つの典型的状況を示唆している（ブログ：6/16 http://aihara.la.coocan.jp/?m=20150616）。
WHOガイドラインの”整合性に欠ける推奨”について、GRADEの５つの最適分類のいずれかに属しているものか、そうでないものかを検討した。
●方法:
2007年から2012年にかけてGRADEアプローチを使用し、WHOガイドライン審査委員会により承認された、全てのガイドラインを検討対象とした。各推奨を、適切に定式化された整合性に欠ける推奨に関する5つの典型例のうちの1つ、または整合性に欠ける推奨がGRADEの指針に反する場合の3つの追加的分類のうちの1つに分類した。
3つの追加的分類とは、1) エビデンスが「低」 または 「非常に低」 ではなく 「中」 または 「高」 の確信性を正当化するものであった場合（エビデンスの誤分類）、2) 優れた医療慣行に関する記述（Good practice statement）である場合、または 3) 効果推定値の不確実性により、条件付き（弱い）推奨しか提示しえないといえる（GRADEの指針に反する推奨）場合である。
●主な結果：
GRADEを使用して作成され、GRCに承認された43のガイドラインに含まれる456の推奨のうち、強い推奨は63.4%（456中289の推奨）で、それ以外は条件的推奨であった。289中160（55.5%）の強い推奨は、”整合性に欠ける推奨”（33件のガイドライン）であった。
WHOガイドラインにおける”整合性に欠ける推奨”の策定が適切とされるGRADEの5つの典型例の1つに合致すると判断されたものは15.6%にすぎなかった。GRADEの指針に反すると判断された85%の推奨のうち、33の推奨（21%）は効果推定値における「中」または 「高」の確信性を正当化するエビデンスに基づくもので、29の推奨（18%）は優れた医療慣行に関する記述で、73の推奨（46%）については強い推奨ではなく条件的推奨を正当化するものであった（表1）。
表１. WHOガイドラインにおいて不適切な形で策定されていると判断された”整合性に欠ける推奨”
| 条件 | WHOガイドラインからの例 | 出現頻度 n（160の推奨に占める割合（%）） |
|
1.Misclassification of the evidence |
推奨: HIV検査の結果が確定している個人およびそのパートナーに対し、「カップルとパートナー向けの任意のHIV検査とカウンセリング（CHTC）」 および相互開示のためのサポートを提供すべきである（強い推奨、あらゆる流行条件下における全てのHIV感染者を対象としたエビデンスの質は 「低」）。分類の判断: ランダム化試験により、CHTCを受けたカップルは、医療情報の提示を受けたカップルと比較し、無防備な性交渉が減ったことが示されており、これが推奨を支持する 「中」 の質のエビデンスを提供している。 |
33（20.6） |
|
2.Good practice statement |
推奨: 結核の症状を持つ人々のトリアージを行う（強い推奨、エビデンスの質は 「低」）。 分類の判断: この推奨は、結核の可能性が十分に高い人はただちに他の患者から隔離し、速やかに適切な検査を受けるべきであると示唆している。優れた医療慣行に関する記述に該当するこの例では、トリアージありとトリアージ無しを比較したランダム化試験や観察研究はないため、直接エビデンスが存在しない。一方、兆候や症状によって結核の可能性が極めて高い人と結核の可能性が低い人を区別でき、なおかつ隔離によって結核の感染を減らすことができることについては高い確信性を正当化するエビデンスがある。これらのエビデンス総体を収集し、要約することは、パネルの時間の有効活用とはいえないだろう。 |
29（18.1） |
|
3.Recommendations inconsistent with GRADE guidance |
推奨: 分娩後出血の治療には子宮マッサージが推奨される（強い推奨、エビデンスの質は 「非常に低」）。 分類の判断: 子宮マッサージを支持するエビデンスの質は 「非常に低」 であり、子宮マッサージによってより効果的な介入の開始が遅れる可能性があることから、条件的推奨が最も適しているだろう。 |
73（45.6） |
CHTC: couples HIV testing and counseling.
さらに、重要な点は、懸案の介入に対する比較対照が推奨の中で明確にされていないものが半数以上（56%）あった。
●結論：
本研究では、大半の推奨がGRADEの原則に反して策定されたものであり、ガイドライン作成プロセスの完全性が脅かされている可能性が明らかになった。WHOのようにGRADEを使用し、GRADEへの準拠に取り組む組織は、関連するGRADEの原則について正式なレビューを行うべきであることを示唆している。また、このようなGRADE原則のレビューの実施後には、ガイドラインパネリストへの追加的訓練や継続的な方法論的支援が必要となるかもしれない。
*******************************************
相原コメント：
これまで、国内のGRADEガイドラインのいくつかを”GRADEを利用したといえる最小限の基準”を使って評価し、その結果を公開していますが（GRADEを利用した国内の診療ガイドライン）、”整合性に欠ける推奨”という視点でみると、WHOガイドライン以上の問題があると思います。
国内の診療ガイドラインの質をチェックする独立した機関が必要でしょうし、その前にガイドラインはすべてフリーで公開すべきと思います。
GRADEでは、ガイドラインパネルが望ましい帰結と望ましくない帰結のバランスについて確信を持てない場合（つまり「低」または「非常に低」の確信性を正当化するエビデンスである場合）は強い推奨を提示すべきでないと提唱しています。ただし、状況によっては効果推定値の確信性が「低」または「非常に低」でも強い推奨が正当化される場合があり、これらをGRADEでは、整合性に欠ける推奨（discordant recommendation）と定義しています。
（GRADE教科書 140-141pを参照）
そして、GRADEワーキンググループは、この”整合性に欠ける推奨”に該当する状況として、5つの典型的状況を明らかにしています。
●効果推定値の確信性が 「低」 または 「非常に低」 にもかかわらず、ガイドラインパネルが強い推奨（整合性に欠ける推奨）を提示することが合理的であると考えられる典型的状況
| 典型的状況 | 効果推定値の確信性（エビデンスの質） | 利益と害のバランス | 価値観と好み | |
| 利益 | 害 | |||
| １．致死的な状況である。 | 「低」または「非常に低」の確信性 | 非重要（「非常に低」 ～ 「高」） | 介入により、致死的な状況において死亡率が低下するかもしれない。 有害イベントは甚大なものではない。 |
不確実ではあるが命が救われるかもしれない利益に非常に高い価値が置かれている。 |
| ２．利益は不確実で、害は確実である。 | 「低」または「非常に低」 | 「高」または 「中」 | 利益があると考えられるが、不確実である。 相当な害が実証済みである。 |
不確実な利益よりも、確信のある有害事象にはるかに高い価値が置かれている。 |
| ３．同等であると考えられるが、1つの選択肢が明らかにより低リスク・低コストである。 | 「低」または「非常に低」 | 「高」または 「中」 | 一連の選択肢で、利益の大きさは（不確実ではあるが）明らかに類似している。競合する一連の選択肢の1つは、より害が少なく低コストであることに確信がある。 | 害の低減に高い価値が置かれている。 |
| ４．利益が類似していることの確信は高いが、1つの選択肢がより高リスク・高コストと考えられる。 | 「高」または「中」 | 「低」または「非常に低」 | 一連の治療戦略で利益の大きさが類似していることが実証されている。1つの選択肢で明らかに害が大きい可能性が（不確実ではあるが）高いものと見込まれる。 | 害増大の可能性を回避することに高い価値が置かれている。 |
| ５．甚大な害の可能性がある。 | 非重要（「非常に低」～「高」） | 「低」または「非常に低」 | 介入に重要な害がある可能性があり、利益の大きさにはばらつきがある。 | 害増大の可能性を回避することに高い価値が置かれている。 |
（参考文献1より）
この”整合性にかける推奨”が多いことで有名なガイドラインの一つが、WHOガイドラインです。WHOガイドラインに関する研究(参考文献-2)によると、GRADEを使って作成された43件のガイドラインに含まれる456件の推奨のうち、強い推奨は63%（289/456件）で、それ以外は条件的推奨でした。また、289中160（56%)の強い推奨は、整合性に欠ける推奨でした。
でもって、はたしてWHOガイドラインにおける”整合性に欠ける推奨”は、妥当なものだろうか？ GRADEが定義する５つの最適状況に合致しているか？ ということで、2007~2012年のWHOガイドラインのすべてをレビューした研究が、参考文献1,2です。
参考文献
1：Alexander PE, et al: World Health Organization strong recommendations based on low-quality evidence (study quality) are frequent and often inconsistent with GRADE guidance.J Clin Epidemiol. 2014 Dec 19. pii: S0895-4356(14)00417-X. doi: 10.1016/j.jclinepi.2014.10.011
2：Alexander PE, et al. World Health Organization recommendations are often strong based on low confidence in effect estimates http://dx.doi.org/10.1016/j.jclinepi.2013.09.020
”整合性に欠ける推奨”に関するGRADEの指針違反は、多くの国内の診療ガイドラインにみられ、その頻度は、WHOガイドラインとは比較にならないほど多いのが実状です。”整合性に欠ける推奨”に関しては、GRADEの５つの最適分類と、GRADEの指針に反する３つの分類がありますが、GRADEガイドラインを作る方々には、必須の基礎知識です。次回は、本論文の概略を解説します。
”予後研究”に関するエビデンスの質をGRADEを使って評価する際には、治療介入における評価と異なるのだろうか？
参考文献： Huguet A, et al. Judging the quality of evidence in reviews of prognostic factor research: adapting the GRADE framework
Systematic Reviews 2013, 2:71
この論文（2013年）によれば、以下の特徴がある。
(1)（予後研究は、縦断的コホート研究を対象とするので）、”study design”は考慮しない
(2)予後研究のエビデンスにGRADEの枠組みを適用する際には、”Phase of investigation”の評価から始める
（例、第2相、第3相探索的研究＝high）
(3)GRADEの等級アップ3要因のうち、”confounder”（過小評価バイアス）を考慮する必要はないだろう
●予後研究のGRADE要因
●GRADE評価とエビデンス・テーブルの具体例
注：
最近出版された、同じグループによる予後GRADEの論文（Lorio et al 2015：http://aihara.la.coocan.jp/?p=1708）においては、
”現時点では、説得力のあるバイアスの種類に関連したグレードアップのための第3のGRADE基準の理論的根拠については具体例がみつからない。しかしながら、今後継続的に予後研究のためのGRADEアプローチを改良する過程で、推定値の確信性のグレードアップにつながるその他の要因が明らかになってくるだろう”と記載されており、今後予後のエビデンスの質評価基準は改変されることもありえます。
ちなみに、現時点では、GRADEproやG2DT(GRADEpro/GDT)ツールを使って、”予後”に関するエビデンステーブルを作成することはできない。治療介入と診断介入に関するエビデンステーブルのみです。
いずれにしても、予後GRADEを理解するためには、GRADEの基本である「治療GRADE」を理解する必要があります。
医学文献ユーザーズガイド第2版の「臨床予測規則」（17.4章）には、以下のように記載されている。
|
患者の診断と予後を確立することは，医師の診療業務の中核である．通常，われわれが下す診断ならびに患者の予後の評価が，患者への推奨を決定する．われわれは，臨床経験に基づき，病歴，身体診察，臨床検査から得られた所見の中から，診断と患者の予後を正確に評価するのに欠かせない所見がどれなのかを直感的に把握できる．臨床医の直感は時として非常に正確だが，間違っている場合もある．CPRs は，臨床医による診断や予後評価の精度を高める方向に働きかける． われわれは，CPR を，病歴，身体診察，基本的臨床検査で構成される各要素が，個々の患者の診断，予後，そして予想される治療への反応に与える影響を定量化するための臨床手法と定義する．この定義は，いわゆる「臨床予測ガイドclinical prediction guides」や「臨床決断規則clinical decision rules」にも同様に当てはまる． 予測とは，臨床医が将来的な臨床イベントをより適格に判断できるよう支援することを意味する．決断とは，臨床医をある特定の行動へ導くことを意味する．CPRs の適用によって，決断に至る場合もあれば，予測に至る場合もあるが，時として，臨床医が現在の診断的問題に適用可能な確率または尤度比likelihood ratio (LR) につながる場合もある。 |
●予測（Prediction）とは、・・・・・
（Prediction model studies Risk Of Bias Assessment Tool : PROBAST）
●予測モデル（prediction model）には、・・・・・
●PROBAST（Prediction model risk of bias assessment tool）とは、・・・・・
●予後に関する予測モデルのPROBASTは、エビデンスのrisk of biasとapplicabilityを評価するものである。
PROBAST Prediction model risk of bias assessment tool
|
Risk of bias refers to the extent to which the primary study leads to biased estimates of the model performance (e.g. regression coefficients, calibration, discrimination, or (re)classification) for the intended use and target population of the prediction model. Applicability refers to the extent to which the model from the primary study matches the review question. |
●Quality In Prognosis Studies (QUIPS)とは・・・
Hayden JA, et al. Assessing bias in studies of prognostic factors.Ann Intern Med. 2013 Feb 19;158(4):280-6. doi: 10.7326/0003-4819-158-4-201302190-00009.
QUIPSを使った国内論文（札幌医科大学）・・・
Terasawa T, et al. Prediction of Gastric Cancer Development by Serum Pepsinogen Test and Helicobacter pylori Seropositivity in Eastern Asians: A Systematic Review and Meta-Analysis. PLos One 2014; 9(10) e109783
・・・・・つい先日(2015/6/2)、NMAシリーズ解説の最後「直接推定値と間接推定値、混合推定値はエビデンスの質を提示しなくてはならない」で紹介した、メタアナリシスのデータは、実は、”QUIPS”と、”PROBAST”を使ってRoBを評価したものでした。(^^)
解析手法は信頼のおけるものですが、肝心のbody of evidenceの質は表示されていません。
治療GRADE, 診断GRADE,NMA-GRADE、そして 予後GRADE論文が出版された。
Lorio A, et al. Use of GRADE for assessment of evidence about prognosis: rating confidence in estimates of event rates in broad categories of patients.
http://www.bmj.com/content/350/bmj.h870.long
論文には、以下のように記載されている。
”バイアスのリスクに関わる指針の策定において、『医学文献のためのユーザーズガイド（Users Guides to the Medical Literature）』 第18章(*)に概説され、以下に要約される主要概念に着目した。これらの基準には、集団の定義と代表性、フォローアップの完全性、アウトカムの客観的かつ公正な測定が含まれる。”
（18章ということは、第2版のJAMA-UGであり、医学文献ユーザーズガイドを参照していただきたい）
●予後の研究に関するrisk of bias
●広義の集団における典型的なリスクに関するエビデンスの質の定義（GRADE）
| QoE | Definition |
| High | We are very confident that the true prognosis (probability of future events) lies close to that of the estimate* |
| Moderate | We are moderately confident that the true prognosis (probability of future events) is likely to be close to the estimate, but there is a possibility that it is substantially different |
| Low | Our confidence in the estimate is limited: the true prognosis (probability of future events) may be substantially different from the estimate. |
| Very low | We have very little confidence in the estimate: the true prognosis (probability of future events) is likely to be substantially different from the estimate. |
| *Prognostic studies measure incidence—that is, target events over time in a population of interest at risk for the target event. The target event can be an adverse outcome (such as mortality) in patients with the disease of interest (for example, recent onset of atrial fibrillation) or the onset of a disease of interest (such as gastric ulcer) in a previously unaffected population. It can also be time to the spontaneous disappearance of a symptom (cough in upper airways or earache in children). Studies assessing prevalence—that is, the number of affected cases in the population of interest—although investigating a similar and complementary topic, are generally cross sectional and will be covered in a separate paper. | |
******************************************
本論文においては、予後のエビデンスに関する（現時点における）GRADEの課題が記載されており、診療ガイドラインを作成する立場の方々には必読であろう。
さて、治療、診断・スクリーニング、NMAに関するGRADEが発表された。
次は、・・・ 医学文献ユーザーズガイドの読者ならば想像できるだろう。(^^)
direct, indirect, mixed estimatesを提示する際にはその質を記載する必要があるが、以下に国内論文を２つ紹介する。
●例１
Miura T, et al. Comparative efficacy and tolerability of pharmacological treatments in the maintenance treatment of bipolar disorder: a systematic review and network meta-analysis. Lancet Psychiatry 2014;1: 351–59.
双極性障害治療に関するNMA論文です。採用しているエビデンスの質評価システムは、GRADEアプローチで、直接比較の異質性をheterogeneity、直接比較と間接比較の不一致をinconsistencyという定義で、Salantiらの基準に従ったものです。
本論文のsupplementary materialにGRADEの基本の５要因を使ったエビデンスの質評価が記載されています（下図）。
本論文は、国内で初めてGRADEを使ったNMA論文です。
●例２
有効性評価に基づく胃がん検診ガイドライン2014ドラフト（「有効性評価に基づく胃がん検診ガイドライン」作成委員会）
本研究を単純にこれまで解説したNMA評価システムを使って評価することはできないが、多変量メタ・アナリシスを使っているので、その結果の部分をみてみます。
ヘリコバクター・ピロリ菌感染及び胃粘膜萎縮によるリスク層別化に関する研究が実施され、4 件のコホート研究がペプシノゲンとヘリコバクター・ピロリ抗体検査の併用法に基づいた4 群層別化モデルによるリスク層別化を検討し、多変量メタ・アナリシス（Multivariate meta-analysis）が実施され、直接推定値と、直接・間接推定値の混合推定値が提示されています。
しかし、直接推定値や間接推定値、混合推定値に関するエビデンスの質評価は全く記載されておらず、その確信性を判断することはできません。
本図に記載されているGroupA vs groupBの比較をみると、3件の研究からの直接推定値の異質性は中等度です（異質性の理由は記載されていない）。両者の推定値からindirect estimatesを計算すると、OR 4.26 (0.368-49.285)であり、つまり、間接エビデンスは、非常に不精確であると思われます。また、異なるカットオフに関する直接比較は、たった1件の観察研究です。統合推定値は直接推定値と近似していますが、著者らはいずれもエビデンスの質についても明確に記載していません。
control eventを0.002～ 0.003と考えると、NNHは154、103であり、1000人あたりとしては、7人～10人と判断できます。
●ランキングにおける問題
例えば、前回の例では、直接比較において、Ilizarov創外固定は、創外（External）固定と比較した場合に、再手術のオッズ比を60%減少します。
介入の全てについてランキング解析をすると、前回のランコグラムやSUCRAに示したように、Unreamed>Ilizarov>Ender>Reamed>External>Plateの順であった。しかし、たとえば、Ilizarov創外固定に関するbody of evidenceは、risk of biasが高い小規模試験1件だけ（総イベント数19件）である。つまり、当該治療のランキングの信頼性（credibility）は低いといえる。
このように、ランコグラムやSUCRAからは、risk of bias、非一貫性、非直接性、出版バイアスなどに関する情報は一切得られない。しかし、対比較のRoB、非一貫性、不精確さなどからランキングに関するエビデンスの質は、”very low”である。
注３：今回の私の解析ではあえて、全ての介入に関するランキングを示したが、論文著者らは、”Very low”のエビデンスを除外して解析したランキングを報告している。そのランキングは、Unreamed>Reamed>External>Plateであり、SUCRAはそれぞれ、86.3%, 54.4%, 24.1%, 3.6%である（論文の表6）。
●ranked forest plot:
ランキングによる誤解に対しては、質の低いエビデンスを除外する方法の他には、”ranked forest plots”(*)を表示する方法もある。
(*)Furukawa TA. Case study in psychiatry. In: Biondi-Zoccai G, edit. Network meta-analysis -Evidence synthesis with mixed treatment comparison. NY: Nova Science publishers; 2014, 325-337.
今回のデータを使ったranked forest plotでは、たとえば、効果が最低の治療（plate）を基準した比較のフォレストプロットをみると、以下のように、各治療の比較や効果の程度を視覚的に理解しやすくなる。
●ランコグラム
黄色のセルの部分が有意差がある比較です。
