[GRADE-CPG解説資料-⑰]

第３アウトカムの症候性VTEに関するエビデンスの精確さについてGRADE基準を使って評価してみましょう。

アウトカム：症候性VTE

フォレストプロット（RevMan）が以下です。RCT（2件）のbody of evidenceで、SRチームは、ランダム割り付け、割り付けの隠蔽に深刻な限界があり、さらに、アウトカムの評価法が不確かであるため、”非常に深刻なRoB”と判断しました。

症候性VTEアウトカムは、RoBに非常に深刻な限界（-2）がありますが、非一貫性、非直接性、出版バイアスの問題がなく、精確さの判断によってCoEが決まる。つまり起点としては、「低」です。

[SRにおける2値アウトカムのimprecision基準]による判断：　 1 OIS基準を満たす （α=0.05, β=0.2, delta=0.25） yes 参加者1129人で、かろうじてOIS=1068人を満たしている（*注1） 2 CIが”効果なし（RR=１）”を含まない no RR=1を含む 3 CIが”効果なし（RR=１）”を含むが、0.75 and/or 1.25を含まない no (-1) 重要な利益を含んでいる （RR=0.72～1.08） 判定： 　不精確さあり （不精確さのためのOIS基準を満たすもCI閾値基準を満たさず） imprecision-(1)で記載した”タイプIII”のパターンです（下図参照）。 *注1. OISの計算には対照群イベント発生率の中央値（0.302）を使用したが、SRチームがより低いRoBのNagoya_2007研究のCERを採用した場合は、OISは1812人となり基準を満たさないと判定することになるだろう。逆に、SRチームがよりweightの大きい研究であるOsaka_2008研究のCERを採用した場合は、OISは712人であり基準を満たすことになる。 従って、最終的なエビデンスの確実性は、不精確さにより、「低」から「非常に低」にグレードダウンとなります。

SRにおける症候性VTEアウトカムに関するエビデンスの確実性は、「非常に低」

つづいて、他のアウトカムについても同様に、評価してみます。

[GRADE-CPG解説資料-⑰]

第２アウトカムの心筋梗塞に関するエビデンスの精確さについてGRADE基準を使って評価してみましょう。

アウトカム：心筋梗塞

フォレストプロット（RevMan）が以下です。RCT（2件）のbody of evidenceで、SRチームは、ランダム割り付け、割り付けの隠蔽、盲検化、アウトカム報告などに問題がなく、”深刻な限界なし”と判断しました。

心筋梗塞アウトカムは、RoB、非一貫性、非直接性、出版バイアスの問題がなく、精確さの判断によってCoEが決まります。つまり起点としては、「高」です。

[SRにおける2値アウトカムのimprecision基準]による判断：　 1 OIS基準を満たす （α=0.05, β=0.2, delta=0.25） yes 参加者3182人で、OIS=1040人を満たしている 2 CIが”効果なし（RR=１）”を含まない yes RR=1を含まない RR 0.88 (0.79-0.99) 3 CIが”効果なし（RR=１）”を含むが、0.75 and/or 1.25を含まない – – OISの計算には、対照群イベント発生率の中央値（0.290）を使用。 判定： 不精確さなし （不精確さのためのOIS基準とCI閾値基準の双方を満たさず） imprecision-(1)で記載した”タイプI”のパターンです（下図参照）。 従って、最終的なエビデンスの確実性は、不精確さによるグレードダウンはなく、「高」です。

SRにおける心筋梗塞アウトカムに関するエビデンスの確実性は、「高」

つづいて、他のアウトカムについても同様に、評価してみます。

[GRADE-CPG解説資料-⑯]

仮想トリプルXのCQにおいて、各アウトカムに関するエビデンス総体は図１のようなものでした。

CQ：一定の診断基準をみたした血栓傾向の患者（thrombophilia）において、新規の経口抗血栓薬（トリプルX）を使うべきか

図１：改変エビデンスプロファイル

システマティックレビューにおける不精確さ（imprecision）の評価では、GRADE2版に記載しているように、相対効果（図中の赤枠部分）に重点をおきます。

では、第1アウトカムの死亡に関するエビデンスの精確さをGRADE基準を使って評価してみましょう。

アウトカム：死亡

フォレストプロット（RevMan）が以下です。RCT（5件）のbody of evidenceで、SRチームは、ランダム割り付け、割り付けの隠蔽に深刻な限界があると判断しました（図１エビデンスプロファイルの脚注参照）。

死亡アウトカムは、RoBに深刻な限界がありますが（-1）、非一貫性、非直接性、出版バイアスの問題がなく、精確さの判断によってエビデンスの確実性（CoE）が決まることになります。つまり起点としては、「高」（RCT）から一段階グレードダウンした「中」です。

[SRにおける2値アウトカムのimprecision基準]による判断：　 1 OIS基準を満たす （α=0.05, β=0.2, delta=0.25） yes 参加者2798人で、OIS=1542人を満たしている 2 CIが”効果なし（RR=１）”を含まない no RR=1を含む 3 CIが”効果なし（RR=１）”を含むが、0.75 and/or 1.25を含まない yes 重要な利益・害を含まない （RR=0.85～1.09） OISの計算には、対照群イベント発生率の中央値（0.228）を使用。 判定： 　不精確さなし （不精確さのためのOIS基準とCI閾値基準の双方を満たさず） imprecision-(1)で記載した”タイプII”のパターンです（下図参照）。 従って、最終的なエビデンスの確実性は、不精確さによるグレードダウンはなく、「中」のまま。

SRにおける死亡アウトカムに関するエビデンスの確実性は、「中」

つづいて、他のアウトカムについても同様に、評価してみます。

[GRADE-CPG解説資料-⑮]

グレードダウンの５ドメインの一つである、データの不精確さ（imprecision）の評価は、システマティックレビューと診療ガイドラインの場合で異なっているので、診療ガイドライン作成においては”不精確さ”を2段階で評価する必要があります。本解説シリーズの後半で解説しますが、GRADEを使った国内の診療ガイドラインの多くで、この評価がおろそかになっているように思います。

システマティックレビューにおける2値アウトカムの不精確さを評価する際の基準が以下で、最適情報量（optimal information size: OIS）と信頼区間（confidential interval: CI）による閾値を利用します（GRADE2版の4.4-4.4.4.2章）。

■不精確さに関する評価基準（SR）

GRADEでは、相当な利益や相当な害に関して、RRR=25%を使うことを推奨しています（ただし、SRチームが説得力のある根拠をもとに、より低いあるいはより高い閾値を設定することも可能です）。この基準を使って不精確さを評価すると、下図のようなパターンとなります（GRADE2版の図4.4-20を改変）。

■エビデンスの精確さと不精確さ（SR）

したがって、OIS基準とCI閾値基準の組合せによって以下の4通りの不精確さの評価（I,II,III,IVパターン）があります。
現時点のGRADEを使う限り、
システマティックレビュー（SR）におけるエビデンスの評価は、必ずこの４パターンのいずれかになるはずです。また、評価者によってが判定が異なるということは極めて稀です。

■精確さと不精確さに関する評価パターン（SR）
基準１と基準３に関して、”no”ならば、データは不精確（imprecision）と判定し、グレードダウンとなります。表からもわかるように、統計学的に”有意差なし”を含むかどうかだけでは、不精確さを評価することはできません。

これまでGRADEを使って診療ガイドラインを作成してきた担当者の皆様はどうでしょうか？
”統計学的に有意差がないので不精確だろう”と判断しているケースが多く、具体例を本解説シリーズ後半で紹介します。

では、トリプルXのCQにおいて設定したアウトカムについて、具体的にシステマティックレビューにおけるimprecisionを評価してみましょう。

注意：この評価は、システマティックレビューのimprecisionであり、診療ガイドラインにおけるimprecisionではないです。つまり、システマティックレビューのimprecision評価を、そのまま診療ガイドラインに適用することはできないという意味です（当たり前のことですが・・・・この当たり前のことが実際の診療ガイドラインにおいて十分に実施されていないわけです）。

[GRADE-CPG解説資料-⑭]

グレードダウンの５つのドメインのうちの一つが、出版バイアス（publication bias）です（GRADE2版の4.4-4.4.5章参照）。

出版バイアスに対処するためには、４つの方法があります（GRADE2版参照）。

研究数が何件あれば、ファンネルプロットの統計学的解析が可能かという点では、いくつかの意見があるようですが、コクランハンドブックでは10件以上と記載されています（GRADEハンドブックでは5件以上の意見もありと記載）。

重要なことは、　ファンネルプロットにおける非対称性＝出版バイアスではないということであり、コクランハンドブック（10.4.2. Different reasons for funnel plot asymmetry）にはEgger et al（1997）の下表が記載されています。

目視評価はあまりにも主観的であるという主張があります（コクランハンドブック）。また、統計学的に有意でない研究が発表されていないのかどうかを把握するために、輪郭強調ファンネルプロットという手法もあります（GRADE2版参照）。

出版バイアスに関する最終評価としては、以下の３つのいずれかになります（Borentein M, et al. Introduction to Meta-analysis. Wiley, 2009）。GRADEを使った評価の場合は、#3がグレードダウンとなります。

    １．the impact of bias is trivial
    2. the impact of bias is not trivial but the major finding is still valid
    3. the major finding might be called into question

では、実際のGRADE診療ガイドラインにおける出版バイアスの評価はどうでしょう。

国内のGRADEガイドラインでは： CQ1：成人ARDS 患者において、早期気管切開を行うべきか（ARDS診療ガイドライン2016） アウトカム：VAP(10d) ARDSパネルは、「10件のRCTによるファンネルプロットが非対称であり出版バイアスが疑われるが、統計学的検討は行っていない」という判定です。しかし、統計学的な解析を行うと、以下のように出版バイアスは否定的です。

仮想例ではどうでしょうか。

トリプルX例では： CQ：血栓傾向の患者（thrombophilia）において、経口抗血栓薬トリプルX（XXX）を使うべきか？ アウトカム： 心筋梗塞（6件のRCT）

出版バイアスなし

[GRADE-CPG解説資料-⑬]

グレードダウンの５つのドメインのうちの一つが、非一貫性（inconsistency）です（GRADE2版の4.4-4.4.2章参照）。

非一貫性（異質性）の評価には、以下の４つの基準を使います（GRADE2版参照）。

非一貫性（異質性）がある場合、考えられる４つの原因（集団、介入、アウトカム、研究方法）のいずれでも非一貫性が説明できないならば、１～２段階グレードダウンとすることになります。また、診療ガイドラインにおいては、非一貫性と臨床的な重要性を区別して判定する場合もあります（GRADE2版の図4.4-11参照）。

GRADEを使った国内診療ガイドラインにおける非一貫性（異質性）の評価例が以下です。

●ARDS診療ガイドライン2016

CQ1：成人ARDS 患者において、早期気管切開を行うべきか？ アウトカム： 人工呼吸器関連肺炎（ventilator associated pneumonia: VAP）-10day

CQ1における非一貫性に関する評価： 信頼区間は一部重なり、I2=67%、p=0.0007と大きな異質性があり、1段階グレードダウンとした。（“かなり大きな”異質性の原因が、集団、介入、アウトカム、研究のRoBのいずれでも説明できないため、グレードダウンということだろう）

CQ 12：成人ARDS 患者において、ステロイドを投与すべきか？ アウトカム：死亡

CQ12における非一貫性に関する評価： I2=44%、中等度の異質性があり、ステロイド量・使用期間でのサブ解析でも異質性は説明できない。ARDSパネルは、“深刻な非一貫性なし”（p=0.13）として、body of evidenceを提示しており、パネルの総意でそのように判定したということであろう。非一貫性の評価そのものは間違いではないが、本CQに関する評価には別の問題がある（本シリーズの後半にて解説予定）。

●トリプルXに関する仮想CQにおける一部のアウトカムに関しても、異質性が観察されました。（例１、例２）

CQ：血栓傾向の患者（thrombophilia）において、経口抗血栓薬トリプルX（XXX）を使うべきか？ 例１．アウトカム： 小出血

非一貫性に関する評価： 信頼区間は一部重なり、I2=67%であるが、RoB による交互作用の可能性があり、効果推定値が同じ方向であることから、エビデンスの確実性をグレードダウンするほどの深刻な非一貫性とは思えない。

例２．アウトカム：血栓関連疼痛

非一貫性に関する評価： I2=73%であるが、RoB による交互作用の可能性があり、効果推定値が同じ方向であることから、エビデンスの確実性をグレードダウンするほどの深刻な非一貫性とは思えない。従って、通常ではlow risk of biasの３研究だけによる効果推定値を採用することになるだろうが、重大なアウトカムではないことや、診療ガイドラインにおいて採用するとしても”臨床的に重要な異質性がある”とは考えられないことから、本解説シリーズでは4件のRCTによるbody of evidenceのままで継続する。

[GRADE-CPG解説資料-⑫]

グレードダウンの５つのドメインのうちの一つが、非直接性（indirectness）です（GRADE2版の4.4-4.4.3章参照）。
非直接性の原因としては、集団の差異、介入の差異、アウトカム指標の差異、間接的な比較（間接比較、ネットワークメタアナリシス*）があります。

GRADEを使った国内診療ガイドラインにおける非直接性の評価例が以下です。

なお、仮想シナリオであるトリプルX例に関する統合エビデンスにおいては、非直接性はなかったとして解説を進めます。

[GRADE-CPG解説資料-⑪]

エビデンスの等級には、研究デザインと、GRADEの８ドメイン（グレードダウンの５ドメイン、グレードアップの３ドメイン）を使います。５つのドメインのうちの一つが、研究の限界（limitations, risk of bias）です。

RCTと観察研究のrisk of bias評価に関しては、GRADE2版の表4.4-4と4.4-5を参照ください。また、あるアウトカムに関する全体的なエビデンスの確実性を決定する際のrisk of bias評価の５原則も大切です（GRADE2版のp60を参照）。

Risk of biasの評価結果であるRoBテーブルは、STATAや、エクセルを使っても作成可能ですが（http://www.grade-jpn.com/online_supplementals/risk_of_bias_excel.xls）、GDTを使ったデータ処理を考えるとRevManを使ったほうが便利です。

さて、トリプルXのCQに関するシステマティックレビューの結果はRCT17件、観察研究5件でした。

採用した各研究のrisk of biasは以下のような結果でした（図１、図２、RevMan5を利用）。

各アウトカムについて、採用した研究のrisk of bias summary/graphを利用して、全体的なrisk of biasを決定することになります（GRADE2版の4.4-2.3参照）。つまり、最初に個々のrisk of biasを評価し、次にアウトカムに関する全体的なrisk of biasを決定するということです。

全体的なrisk of bias(RoB)を決定する際に、全体におけるhigh RoBやLow RoBの”割合”を参考にするグループもありますが、GRADE working groupは（多くの人が、なんらかの明確な基準値を使って定量的に判断したいと願っていることを知りつつも）画一的な基準を設定することには反対しています。これは、アウトカムによってRoBドメインの重要性が異なるためで、例えば、blindingの欠如は、死亡アウトカムにはグレードダウンとするほどの大きな問題とはならないといったものです。

GRADEにおいては、むしろ、効果推定値に寄与度が大きい（Weightが大きい）研究のRoBはどうか、という視点が重要です。この点でも、RevManを使うと、フォレストプロットとRoB summaryが同時に表示されるので便利です（図３）。

■図１：RCT17件のRisk of bias summary

■図２．観察研究5件のRisk of bias summary

■図３．観察研究5件のフォレストプロットとRisk of bias summary
（赤枠部分がweightとRoB）

■図４．総死亡のアウトカムに関するRCTエビデンスのrisk of bias

[GRADE-CPG解説資料-⑩]

”エビデンスの確実性（Certainty of evidence）”という用語は、従来使われていた”エビデンスの質（Quality of evidence）”と同じ意味です。

http://aihara.la.coocan.jp/?p=2848

さて、GRADEを使ったエビデンスの確実性評価には、以下の原則があります（GRADE2版の4.4章）
********************************************************************
１．アウトカムを主体としたエビデンス総体（body of evidence）について評価する
２．エビデンスの等級には、研究デザインと、GRADEの８ドメインを使う
３．８ドメインとは、グレードダウンの５ドメイン、グレードアップの３ドメインからなる。
    特にimprecisionドメインは、システマティックレビューと診療ガイドラインで評価基準が異なる
４．最終的なエビデンスの確実性は、GRADEが定義する４段階（高、中、低、非常に低）のいずれかとする
５．各ドメインは互いに関連していることが多く、単純に加算して定量的に判定してはならない
********************************************************************

#1は、個々の研究にエビデンスの格付けをせず、アウトカムを中心に複数の研究を横断的に統合する、ということであり、
#2は、研究デザインとして、RCTは「高」からスタートし、観察研究は「低」からスタートするということです。

#3は非常に重要です。
システマティックレビューでは統計学的な有意差の有無を判断基準の一つとしていますが、診療ガイドラインにおいては、統計学的有意差ではなく、”決断の閾値”を使って評価する必要があります（GRADE2版4.4-4.4.4章）。あるアウトカムについての効果の不精確さ（imprecision）の評価は、他のアウトカムの効果に関する評価の影響を受けるというわけです（GRADE2版p76-77参照）。

また、#5についても注意が必要です。
たとえば、早期終了（early stopping）の試験では、当初の見積もりより少ないサンプルサイズとなり、そのため効果推定値も不精確のことが多いわけですが、この場合、バイアスのリスク（RoB）とimprecisionの双方が深刻と判断されるかもしれません。しかし、２つのドメインによる深刻さがあることから（1+1=2の）2段階グレードダウンとすることには問題があり、同じ理由によってグレードダウンを2回実施しているというわけです。

非一貫性（異質性）があるために不精確となっていることが多く、非直接性と不精確さの問題が、サブグループ解析によって不精確さが解消されることもあります。
したがってGRADEによるエビデンスの確実性評価は、何度も反復してチェックする必要があります。

グレードダウンのドメインばかりではなく、観察研究におけるグレードアップの評価についても注意が必要です。
なんらかの問題があってグレードダウンしたエビデンスは、もはやグレードアップの対象とはなりません。グレードアップできる場合とは、グレードダウンの５つのドメインに問題がない観察研究に限ります。
観察研究「低」のエビデンス総体が、バイアスのリスク(-1) + 不精確さ(-1) + 効果が非常に大きい(+2) = 0 なので、「低」のままということではないのです。

次週より、トリプル-Xに関するSRにおけるGRADEによるエビデンスの確実性評価を紹介します。
採用された研究は、21件です

、
 

[GRADE-CPG解説資料-⑨]

システマティックレビューにおける文献検索や適格基準（組み入れ基準と除外基準）に見合った文献採用の情報を把握するために、PRISMAチェックリストや、フローチャートの活用が有効です。PRISMAチェックリストは、システマティックレビューの質向上にもつながるものです。
（PRISMAチェックリストについては、GRADE2版6.3章を参照ください。PRISMA翻訳改訂版については、オンライン追加資料を参照ください。）

PRISMAフローチャートは、RevManを使って、”Study flow diagram”として簡単に作成することができます。
RevMan5を使って作成したフロー図が以下です：
http://www.grade-jpn.com/online_supplementals/Flow_diagram_(triple-X).svg

仮想のCQ（トリプルX）に関するシステマティックレビューでは、以下のStudy flow diagramが作成されました（図１）。

つまり、特定した研究が10,100件あり、スクリーニングした9,500件から9,450件を除外した50件について適格性の評価を実施しています。50件から28件を除外し、質的統合に加えた研究が21件で、量的統合（メタアナリシス）に加えた研究が21件です。

図１

除外された研究の一つ（Korea_2002）のフォレストプロットが以下です。