[GRADE-CPG解説資料-⑰]
第２アウトカムの心筋梗塞に関するエビデンスの精確さについてGRADE基準を使って評価してみましょう。
| アウトカム：心筋梗塞 | ||||||||||||||||||||||||
フォレストプロット（RevMan）が以下です。RCT（2件）のbody of evidenceで、SRチームは、ランダム割り付け、割り付けの隠蔽、盲検化、アウトカム報告などに問題がなく、”深刻な限界なし”と判断しました。
|
||||||||||||||||||||||||
心筋梗塞アウトカムは、RoB、非一貫性、非直接性、出版バイアスの問題がなく、精確さの判断によってCoEが決まります。つまり起点としては、「高」です。
|
||||||||||||||||||||||||
[SRにおける2値アウトカムのimprecision基準]による判断：
従って、最終的なエビデンスの確実性は、不精確さによるグレードダウンはなく、「高」です。
| ||||||||||||||||||||||||
|
SRにおける心筋梗塞アウトカムに関するエビデンスの確実性は、「高」 |
||||||||||||||||||||||||
つづいて、他のアウトカムについても同様に、評価してみます。
[GRADE-CPG解説資料-⑯]
仮想トリプルXのCQにおいて、各アウトカムに関するエビデンス総体は図１のようなものでした。
CQ：一定の診断基準をみたした血栓傾向の患者（thrombophilia）において、新規の経口抗血栓薬（トリプルX）を使うべきか
図１：改変エビデンスプロファイル
システマティックレビューにおける不精確さ（imprecision）の評価では、GRADE2版に記載しているように、相対効果（図中の赤枠部分）に重点をおきます。
Risk of biasに関するグレードダウンの理由は、以下です。
*****************************************************************************
1.ランダム割り付け、割り付けの隠蔽に深刻な限界がある（選択バイアス）
2.アウトカムの評価法が不確かである
3.アウトカムの測定が不確かである（上部消化管内視鏡の実施率はわずかに20%）
*****************************************************************************
では、第1アウトカムの死亡に関するエビデンスの精確さをGRADE基準を使って評価してみましょう。
| アウトカム：死亡 | ||||||||||||||||||||||||
フォレストプロット（RevMan）が以下です。RCT（5件）のbody of evidenceで、SRチームは、ランダム割り付け、割り付けの隠蔽に深刻な限界があると判断しました（図１エビデンスプロファイルの脚注参照）。 |
||||||||||||||||||||||||
死亡アウトカムは、RoBに深刻な限界がありますが（-1）、非一貫性、非直接性、出版バイアスの問題がなく、精確さの判断によってエビデンスの確実性（CoE）が決まることになります。つまり起点としては、「高」（RCT）から一段階グレードダウンした「中」です。
|
||||||||||||||||||||||||
[SRにおける2値アウトカムのimprecision基準]による判断：
従って、最終的なエビデンスの確実性は、不精確さによるグレードダウンはなく、「中」のまま。
| ||||||||||||||||||||||||
|
SRにおける死亡アウトカムに関するエビデンスの確実性は、「中」
|
||||||||||||||||||||||||
つづいて、他のアウトカムについても同様に、評価してみます。
[GRADE-CPG解説資料-⑮]
グレードダウンの５ドメインの一つである、データの不精確さ（imprecision）の評価は、システマティックレビューと診療ガイドラインの場合で異なっているので、診療ガイドライン作成においては”不精確さ”を2段階で評価する必要があります。本解説シリーズの後半で解説しますが、GRADEを使った国内の診療ガイドラインの多くで、この評価がおろそかになっているように思います。
システマティックレビューにおける2値アウトカムの不精確さを評価する際の基準が以下で、最適情報量（optimal information size: OIS）と信頼区間（confidential interval: CI）による閾値を利用します（GRADE2版の4.4-4.4.4.2章）。
■不精確さに関する評価基準（SR）
| 1 | OIS の基準が満たされていない場合は，不精確さを理由にグレードダウンする。 |
| 2 | OIS基準が満たされ，なおかつ95% CIが“ 効果なし” を含まない（すなわち，RRの信頼区間が1を含まない）ならば，不精確さを理由としたグレードダウンは行わない。 |
| 3 | OIS 基準は満たされているが，95% CIが“ 効果なし” を含み（すなわちRRの信頼区間が1を含む），かつ信頼区間が重要な利益または重要な害を含むならば，不精確さを理由としたグレードダウンを行う。 |
GRADEでは、相当な利益や相当な害に関して、RRR=25%を使うことを推奨しています（ただし、SRチームが説得力のある根拠をもとに、より低いあるいはより高い閾値を設定することも可能です）。この基準を使って不精確さを評価すると、下図のようなパターンとなります（GRADE2版の図4.4-20を改変）。
■エビデンスの精確さと不精確さ（SR）
したがって、OIS基準とCI閾値基準の組合せによって以下の4通りの不精確さの評価（I,II,III,IVパターン）があります。
現時点のGRADEを使う限り、
システマティックレビュー（SR）におけるエビデンスの評価は、必ずこの４パターンのいずれかになるはずです。また、評価者によってが判定が異なるということは極めて稀です。
■精確さと不精確さに関する評価パターン（SR）
基準１と基準３に関して、”no”ならば、データは不精確（imprecision）と判定し、グレードダウンとなります。表からもわかるように、統計学的に”有意差なし”を含むかどうかだけでは、不精確さを評価することはできません。
| 基準 | I | II | III | IVa | IVb | IVc |
| 1.OIS基準を満たす | yes | yes | yes | no | no | no |
| 2.CIが”効果なし（RR=１）”を含まない | yes | no | no | yes | no | no |
| 3.CIが”効果なし（RR=１）”を含むが、0.75 and/or 1.25を含まない | – | yes | no | – | yes | no |
| 不精確さ（imprecision）の有無 | なし | なし | あり | あり | あり | あり |
（本分類は、GRADE working groupが発表しているものではなく、今回の解説シリーズのために相原が独自に作成したものです。
タイプIVの亜型を追加したのは、設定したコントロールリスクの違いによりOIS評価が変わるようなボーダーラインの場合に閾値判定も有効かもしれないと考えたためです。）
これまでGRADEを使って診療ガイドラインを作成してきた担当者の皆様はどうでしょうか？
”統計学的に有意差がないので不精確だろう”と判断しているケースが多く、具体例を本解説シリーズ後半で紹介します。
では、トリプルXのCQにおいて設定したアウトカムについて、具体的にシステマティックレビューにおけるimprecisionを評価してみましょう。
注意：この評価は、システマティックレビューのimprecisionであり、診療ガイドラインにおけるimprecisionではないです。つまり、システマティックレビューのimprecision評価を、そのまま診療ガイドラインに適用することはできないという意味です（当たり前のことですが・・・・この当たり前のことが実際の診療ガイドラインにおいて十分に実施されていないわけです）。
[GRADE-CPG解説資料-⑭]
グレードダウンの５つのドメインのうちの一つが、出版バイアス（publication bias）です（GRADE2版の4.4-4.4.5章参照）。
出版バイアスに対処するためには、４つの方法があります（GRADE2版参照）。
|
１．小規模研究によってより大きな効果が示されていないか調べる (small study effects) 。 a．ファンネルプロットの目視評価 b．ファンネルプロットの統計学的解析 ２．想定される出版バイアスを把握した後，図式を復元することによって，エビデンスを再構築する。 a．Trim and Fill (Duval and Tweedie) b．フェイルセーフ数 fail–safe N (Rosenthal, Orwin) ３．統計学的有意水準に応じた，出版の確率を推定する。 ４．データの出現に応じて経時的または研究数による効果サイズの変化を調べる（累積メタアナリス。 |
研究数が何件あれば、ファンネルプロットの統計学的解析が可能かという点では、いくつかの意見があるようですが、コクランハンドブックでは10件以上と記載されています（GRADEハンドブックでは5件以上の意見もありと記載）。
重要なことは、 ファンネルプロットにおける非対称性＝出版バイアスではないということであり、コクランハンドブック（10.4.2. Different reasons for funnel plot asymmetry）にはEgger et al（1997）の下表が記載されています。
目視評価はあまりにも主観的であるという主張があります（コクランハンドブック）。また、統計学的に有意でない研究が発表されていないのかどうかを把握するために、輪郭強調ファンネルプロットという手法もあります（GRADE2版参照）。
出版バイアスに関する最終評価としては、以下の３つのいずれかになります（Borentein M, et al. Introduction to Meta-analysis. Wiley, 2009）。GRADEを使った評価の場合は、#3がグレードダウンとなります。
１．the impact of bias is trivial
2. the impact of bias is not trivial but the major finding is still valid
3. the major finding might be called into question
では、実際のGRADE診療ガイドラインにおける出版バイアスの評価はどうでしょう。
|
国内のGRADEガイドラインでは： CQ1：成人ARDS 患者において、早期気管切開を行うべきか（ARDS診療ガイドライン2016） アウトカム：VAP(10d) ARDSパネルは、「10件のRCTによるファンネルプロットが非対称であり出版バイアスが疑われるが、統計学的検討は行っていない」という判定です。しかし、統計学的な解析を行うと、以下のように出版バイアスは否定的です。 |
  |
仮想例ではどうでしょうか。
|
トリプルX例では： CQ：血栓傾向の患者（thrombophilia）において、経口抗血栓薬トリプルX（XXX）を使うべきか？ アウトカム： 心筋梗塞（6件のRCT） |
出版バイアスなし   |
[GRADE-CPG解説資料-⑬]
グレードダウンの５つのドメインのうちの一つが、非一貫性（inconsistency）です（GRADE2版の4.4-4.4.2章参照）。
非一貫性（異質性）の評価には、以下の４つの基準を使います（GRADE2版参照）。
|
１．点推定値が研究間で異なり，その相違がかなり大きい。 ２．各信頼区間の重なりが，ほとんどまたは全くない。 ３．異質性検定（根底にある効果の大きさが全ての研究で同じであるとする帰無仮説を検証する検定）において，p＜0.05 で帰無仮説を棄却できる。 ４．I2 値（研究間の差異による点推定値のばらつきの割合を示す）が大きい。 |
非一貫性（異質性）がある場合、考えられる４つの原因（集団、介入、アウトカム、研究方法）のいずれでも非一貫性が説明できないならば、１～２段階グレードダウンとすることになります。また、診療ガイドラインにおいては、非一貫性と臨床的な重要性を区別して判定する場合もあります（GRADE2版の図4.4-11参照）。
GRADEを使った国内診療ガイドラインにおける非一貫性（異質性）の評価例が以下です。
| ●ARDS診療ガイドライン2016 |
| CQ1：成人ARDS 患者において、早期気管切開を行うべきか？ アウトカム： 人工呼吸器関連肺炎（ventilator associated pneumonia: VAP）-10day |
|
|
CQ1における非一貫性に関する評価： 信頼区間は一部重なり、I2=67%、p=0.0007と大きな異質性があり、1段階グレードダウンとした。（“かなり大きな”異質性の原因が、集団、介入、アウトカム、研究のRoBのいずれでも説明できないため、グレードダウンということだろう） |
| CQ 12：成人ARDS 患者において、ステロイドを投与すべきか？ アウトカム：死亡 |
|
|
CQ12における非一貫性に関する評価： I2=44%、中等度の異質性があり、ステロイド量・使用期間でのサブ解析でも異質性は説明できない。ARDSパネルは、“深刻な非一貫性なし”（p=0.13）として、body of evidenceを提示しており、パネルの総意でそのように判定したということであろう。非一貫性の評価そのものは間違いではないが、本CQに関する評価には別の問題がある（本シリーズの後半にて解説予定）。 |
本解説シリーズで表示するフォレストプロットなどは、すべて公開データを使って相原が新たに作成したものです。
●トリプルXに関する仮想CQにおける一部のアウトカムに関しても、異質性が観察されました。（例１、例２）
| CQ：血栓傾向の患者（thrombophilia）において、経口抗血栓薬トリプルX（XXX）を使うべきか？ 例１．アウトカム： 小出血 |
|
|
非一貫性に関する評価： 信頼区間は一部重なり、I2=67%であるが、RoB による交互作用の可能性があり、効果推定値が同じ方向であることから、エビデンスの確実性をグレードダウンするほどの深刻な非一貫性とは思えない。 |
| 例２．アウトカム：血栓関連疼痛 |
|
|
非一貫性に関する評価： I2=73%であるが、RoB による交互作用の可能性があり、効果推定値が同じ方向であることから、エビデンスの確実性をグレードダウンするほどの深刻な非一貫性とは思えない。従って、通常ではlow risk of biasの３研究だけによる効果推定値を採用することになるだろうが、重大なアウトカムではないことや、診療ガイドラインにおいて採用するとしても”臨床的に重要な異質性がある”とは考えられないことから、本解説シリーズでは4件のRCTによるbody of evidenceのままで継続する。 |
[GRADE-CPG解説資料-⑫]
グレードダウンの５つのドメインのうちの一つが、非直接性（indirectness）です（GRADE2版の4.4-4.4.3章参照）。
非直接性の原因としては、集団の差異、介入の差異、アウトカム指標の差異、間接的な比較（間接比較、ネットワークメタアナリシス*）があります。
GRADEを使った国内診療ガイドラインにおける非直接性の評価例が以下です。
| ●JRC蘇生ガイドライン2015 | |
| [一次救命処置（BLS）の胸骨圧迫の解除] CQ:胸骨圧迫で圧迫と圧迫の間は力を完全に抜くべきか？ |
P：あらゆる状況での成人と小児の心停止 I：胸壁の戻りを最大にすること C:胸壁の戻りを考慮しない場合 O：神経学的転帰および生存、ROSC、冠灌流圧、心拍出量 |
| 非直接性に関する評価 重要なアウトカムとしての冠灌流圧や心拍出量に関するエビデンス（観察研究）は、動物実験や、心停止ではない麻酔下の小児を対象とした研究のため、非常に深刻な非直接性あり、グレードダウンと評価された。 |
|
| ●ARDS診療ガイドライン2016 | |
| CQ9：成人ARDS患者において人工呼吸を実施する際、筋弛緩薬を使用すべきか？ | P：成人ARDS患者 I：筋弛緩薬 C：筋弛緩薬なし O：死亡、圧損傷、ICU関連筋力低下 |
| 非直接性に関する評価 推奨の根拠となるRCTで用いられたシスアトラクリウムは本邦では販売されておらず、使用不可能のため、深刻な非直接性ありと判断された。 |
|
| ●う蝕治療ガイドライン第2版（2015） | |
| CQ2：永久歯エナメル質の初期う蝕に、高フッ化物徐放性グラスアイオノマーセメントの塗布は有効か？ | P：永久歯エナメル質の初期う蝕患者 I：高フッ化物徐放性グラスアイオノマーセメントの塗布 C：グラスアイオノマーセメント塗布なし O：う窩形成抑制、白斑減少、白斑の滑沢化、エックス線透過性の減少、ダイガグノデント値の減少 |
| 非直接性に関する評価 エックス線透過性の減少に関するエビデンスがあったが、介入（歯間離開を行い、なおかつ通常のグラスアイオノマーセメントの数倍のフッ化物除放量）は実際の臨床場面で実施することが困難であることから、グレードダウンとした（エビデンスプロファイルには記載されていないが、非直接性ありと判断すべきだろう）。 |
|
| *JCE GRADEシリーズで記載されているネットワークメタアナリシスのエビデンスの2段階グレードダウン例 |
| 研究者らは、12種類の新規抗うつ薬の同時治療比較を行った。著者らは患者総数が25,000名を超える117件のランダム化試験を評価したが、著者らの論文には患者の類似性や共介入に関する情報が記載されていない。確認のため著者らに連絡をとったところ、著者らは治療抵抗性うつ病患者を対象とした試験は除外したと述べ、うつ病の種類が異なる場合でも治療への反応は類似しており、患者らは重要な共介入を受けていない可能性がきわめて高いと主張した。risk of biasに関しては、著者らによると、risk of bias評価のためのコクラン共同計画のアプローチを使用したところ、ほとんどの研究でrisk of biasは「不明瞭」で、なおかつ12件の研究でrisk of biasが低かったことから、risk of biasが高かった研究は少数であると考えられる。この情報は有用ではあるが、「不明瞭」が示唆するrisk of biasの範囲は広い。いずれの研究でも、12種類の薬剤の中から2種以上が直接比較されていた。117件の研究全てに含まれていた比較の総数は70件である（例: フルオキセチンとフルボキサミンの比較は2件）。薬剤への反応を比較した70件の比較のうち、直接比較と間接比較に統計学的に有意な差が報告されていたのは3件のみである。しかし、このような検定は、検出力が高くないものと考えられる。以上から、このネットワークメタアナリシスに対しては慎重な姿勢を取り、非直接性を理由に2段階グレードダウンするとよいだろう。 |
なお、仮想シナリオであるトリプルX例に関する統合エビデンスにおいては、非直接性はなかったとして解説を進めます。
[GRADE-CPG解説資料-⑪]
エビデンスの等級には、研究デザインと、GRADEの８ドメイン（グレードダウンの５ドメイン、グレードアップの３ドメイン）を使います。５つのドメインのうちの一つが、研究の限界（limitations, risk of bias）です。
RCTと観察研究のrisk of bias評価に関しては、GRADE2版の表4.4-4と4.4-5を参照ください。また、あるアウトカムに関する全体的なエビデンスの確実性を決定する際のrisk of bias評価の５原則も大切です（GRADE2版のp60を参照）。
Risk of biasの評価結果であるRoBテーブルは、STATAや、エクセルを使っても作成可能ですが（http://www.grade-jpn.com/online_supplementals/risk_of_bias_excel.xls）、GDTを使ったデータ処理を考えるとRevManを使ったほうが便利です。
さて、トリプルXのCQに関するシステマティックレビューの結果はRCT17件、観察研究5件でした。
採用した各研究のrisk of biasは以下のような結果でした（図１、図２、RevMan5を利用）。
各アウトカムについて、採用した研究のrisk of bias summary/graphを利用して、全体的なrisk of biasを決定することになります（GRADE2版の4.4-2.3参照）。つまり、最初に個々のrisk of biasを評価し、次にアウトカムに関する全体的なrisk of biasを決定するということです。
全体的なrisk of bias(RoB)を決定する際に、全体におけるhigh RoBやLow RoBの”割合”を参考にするグループもありますが、GRADE working groupは（多くの人が、なんらかの明確な基準値を使って定量的に判断したいと願っていることを知りつつも）画一的な基準を設定することには反対しています。これは、アウトカムによってRoBドメインの重要性が異なるためで、例えば、blindingの欠如は、死亡アウトカムにはグレードダウンとするほどの大きな問題とはならないといったものです。
GRADEにおいては、むしろ、効果推定値に寄与度が大きい（Weightが大きい）研究のRoBはどうか、という視点が重要です。この点でも、RevManを使うと、フォレストプロットとRoB summaryが同時に表示されるので便利です（図３）。
■図１：RCT17件のRisk of bias summary
■図２．観察研究5件のRisk of bias summary
■図３．観察研究5件のフォレストプロットとRisk of bias summary
（赤枠部分がweightとRoB）
■図４．総死亡のアウトカムに関するRCTエビデンスのrisk of bias
|
ほぼ同じような重みの５研究があり、各研究のRoBを提示したフォレストプロットが以下です。
|
|
Risk of biasに関する評価： |
SRにおいて、”欠損値（missing data）”は、Risk of biasのうちの”不完全なアウトカム報告”につながります。
“missing data”のある試験をどのように対処すべきかという問題に対して、‘‘worst-case scenario,’’を始めとしたさまざまな補完戦略（imputation strategy）があります。GRADEmemberによる関連論文が発表されており、2値アウトカムのケースの解析法が以下の図です。
●2値アウトカム:
Addressing Dichotomous Data for Participants Excluded from Trial Analysis: A Guide for Systematic Reviewers
http://www.ncbi.nlm.nih.gov/pubmed/23451162
●連続アウトカム：
・同じ尺度の場合：
Addressing continuous data for participants excluded from trial analysis:a guide for systematic reviewers
http://www.ncbi.nlm.nih.gov/pubmed/23774111
・異なる尺度の場合：
Addressing continuous data measured with different instruments for participants excluded from trial analysis:a guide for systematic reviewers
http://www.ncbi.nlm.nih.gov/pubmed/24613497
でもって、さらにGRADE working groupは、missing dataに伴うrisk of biasのグレードダウン評価を補完戦略で考え、さらに診療ガイドラインのエビデンスの質評価にも利用いようと主張しています。
■研究における参加の流れ
■解析方法
■missing matrix
Risk of bias評価のツールとしては、RevManを利用することが最も簡単ですが、STATAでも可能です。
STATAを使ったrisk of bias評価については、GRADE教科書2版において記載していますが、STATAコマンドが以下です（STATA version 13）。
●STATAコマンド：
|
.use http://www.grade-jpn.com/online_supplementals/heparin4cancer_rob.dta *risk of bias graph* *risk of bias summary* |
●Risk of biasの結果：
●全体的なRisk of bias(rob)：
ひとつのアウトカムに関する、研究全体のrobは、当該アウトカムに関する評価ドメインの重要性や各研究の寄与率を勘案して決定します。
全体的なrob評価として、各研究のrobを、low=0, unclear=-1, high=-2としてスコアリングし、寄与率（重み）を乗じて、総合スコアを算出する方法もあります。
例：以下の評価では、寄与率を考慮したスコアは、-0.234であり、”採用した研究全体のrisk of biasに関してはグレードダウンとはしない”という判定になります。
注：GRADE working groupは、（アウトカムによってドメインの重要性が異なるため）このようなスコアリングによる判定を勧めてはいません。
GRADEを使って、総体エビデンス（body of evidence）の質を評価する際には、「エビデンスの質、すなわち効果推定値が正しいという確信の程度は、連続的なものである」という認識が必要です。
複数のRCTからの総体エビデンス(4)が、バイアスのリスク(-1)、不精確さ(-1)、非一貫性(-1)、非直接性(0)、出版バイアス(0)、なので、4-3=1、”very low”という判断はよくないという意味で、バイアスのリスクと不精確さを合わせて(-1)などという判断もありうるという考えです。
■Quality of evidence: confidence in estimates as a continuum
下図は、GRADEを下げる５要因のうち、risk of bias, imprecision, indirectnessを使って、エビデンスの質の連続性を説明したものです。
■RCTが1件しかない場合はどうするか？
What to do when there is only one RCT
Many people are uncomfortable designating a single RCT as high-quality evidence. Given the many instances in which the first positive report has not held up under subsequent investigation, this discomfort is warranted. On the other hand, automatically rating down quality when there is a single study is not appropriate. A single, very large, rigorously planned and conducted multicentre RCT may provide high-quality evidence. GRADE suggests especially careful scrutiny of all relevant issues (risk of bias, precision, directness, and publication bias) when only a single RCT addresses a particular question. (GRADE JCE-4より)
1件のRCTを質の高いエビデンスと呼ぶことには抵抗のある人が多い。最初の肯定的な報告がそれ以降の研究により覆されることはよくあることから、抵抗があるのも無理はない。一方、研究が1件しかなければ機械的に評価を下げてしまうのは不適切である。1件の非常に大規模で厳格に計画、実行された多施設共同RCTならば質の高いエビデンスが得られるかもしれない。GRADEは、ある特定の疑問を取り上げたRCTが1件しかない場合には、全ての関連する問題（バイアスのリスク、精確さ、直接性、出版バイアス）を慎重に吟味するよう提言する。
