Alonso-Coello P, et al.
Systematic reviews suffer from major limitations in reporting absolute effects.
J Clin Epidemiol. 2015 Nov 8. pii: S0895-4356(15)00505-3. doi: 10.1016/j.jclinepi.2015.11.002.

Abstract

BACKGROUND:
Expressing treatment effects in relative terms yields larger numbers than expressions in absolute terms, affecting the judgement of the clinicians and patients regarding the treatment options. It is uncertain how authors of systematic reviews (SRs) absolute effect estimates are reported in). We therefore undertook a systematic survey to identify and describe the reporting and methods for calculating absolute effect estimates in SRs.

METHODS:
Two reviewers independently screened title, abstract and full text, and extracted data from a sample of Cochrane and non-Cochrane SRs. We used regression analyses to examine the association between study characteristics and the reporting of absolute estimates for the most patient-important outcome.

RESULTS:
We included 202 SR (98 Cochrane and 104 non-Cochrane), the majority of which (92.1%) included standard meta-analyses including relative estimates of effect. Of the 202 SRs, 73 (36.1%) reported absolute effect estimates for the most patient-important outcome. SRs with statistically significant effects were more likely to report absolute estimates (odds ratio: 2.26, 95%-CI: 1.08 to 4.74). The most commonly reported absolute estimates were: for each intervention, risk of adverse outcomes expressed as a percentage (41.1%); number needed to treat (26.0%); and risk for each intervention expressed as natural units or natural frequencies (24.7%). In 12.3% of the SRs that reported absolute effect estimates for both benefit and harm outcomes, harm outcomes were reported exclusively as absolute estimates. Exclusively reporting of beneficial outcomes as absolute estimates occurred in 6.8% of the SRs.

CONCLUSIONS:
Most SRs do not report absolute effects. Those that do often report them inadequately, thus requiring users of SRs to generate their own estimates of absolute effects. For any apparently effective or harmful intervention, SR authors should report both absolute and relative estimates to optimise the interpretation of their findings.

注：コクランハンドブックにおいては、SR著者に、絶対効果が常に表示されるSoF table（以下）をレビューに含めるように勧めています。

GRADEシステムにおいては、観察研究のエビデンスの質をグレードアップする3要因の一つが、「交絡因子（plausible confounder）による過小評価」です。
“antagonistic bias”ともいわれるこのグレードアップ要因の詳細は、GRADE第2版のp93-94を参照しただくとして、友人との情報交換で発生した疑問が以下です。

結局、観察研究におけるエビデンスの質評価は、”因果関係・関連性”に関する確実性なんだと思います。”用量反応勾配”や”効果の大きさ”を含めたいくつかのHill基準に相当する項目をGRADEではあてていますが、confoundingに相当する項目が、観察研究における因果関係を検討するHill項目にはありません。
このようなこともあって、実際のSR/CPGにおけるグレードアップ例がないと思いますが、GRADE working groupでは、効果の大きさや容量反応勾配だけではQoE質のグレードアップにつながらないケース（残差交絡）に対応して、この項目を作成したと思います。でも、このconfoundingだけで、エビデンスの質をグレードアップするほどの評価例となると、実際は無いということなのでしょう。

JCEシリーズやGRADEハンドブックには4つの例（うち3例は、GRADE本で紹介）が記載されていますが、ワークショップでの教育としてはこれらの例で十分と思います。GRADE2版に記載していない4つ目の例が以下です。

Survey monkeyはアンケート調査のためのwebツールです。

診療ガイドライン作成においては、アウトカムの重要性、エビデンスの確実性、推奨の強さなど、さまざまな段階で合意をはかる必要があります（GRADE2版 p175-177）。
パネルメンバーの意見を迅速に把握するための手法の一つが、webツールを使うもので、Survey monkeyもその一つです。

たとえば、GRADEを使った初めての国内診療ガイドラインである、顎関節症ガイドラインを使って、「患者にとって重要なアウトカム」に関するアンケートをSurvey monkeyを使って作成したものが以下です。

アンケート入力サイト:
https://jp.surveymonkey.com/r/RFJVNMP

注：本アンケートは仮想のもので、後日削除する予定です

注：有料バージョンだと、以下のような様式も可能のようです

AHRQ/EPCの、システマティックレビューにおけるbody of evidenceの質（Strength of evidence）の評価法は、GRADEを改変したものです。

Grading the strength of a body of evidence when assessing health care interventions: an EPC update
Berkman ND, et al. J Clin Epidemiol. 2015 Nov;68(11):1312-24. doi: 10.1016/j.jclinepi.2014.11.023.

AHRQ/EPCの改変GRADEによる評価については、（GRADEと違って）以下の注意が必要です。

●エビデンスの強さは、high、moderate、low、insufficientの4段階。

●”low”と”insufficient”の違い：”Low”はレビュアは結論を引き出すことができるが、”insufficient”はレビュアはいかなる結論も引き出すことができない。

●エビデンスンの強さは、個々のアウトカムに関してのみ評価し、アウトカム全般にわたる全体的なエビデンスの質は評価しない（なぜならば、診療ガイドラインの推奨作成を目的とした、介入の利益と害のバランスを判定することはなく、各アウトカムに関するSOEを提示することで、その後判断はユーザーにまかせる）。

●注：GRADE working groupは、”Strength of evidence”という用語を、(1)”strength of recommendations”と混同しやすい、(2)効果の大きさと混同しやすい、などの理由から、できるだけ使用しないという方針です。

Agency for Healthcare Research and Quality (AHRQ) Evidence-based Practice Centers (EPCs) は、既存のSRを新規のSRに組み込むための12の提案を発表しました。

Twelve recommendations for integrating existing systematic reviews into new reviews: EPC guidance.
Robinson KA, et al. J Clin Epidemiol. 2015 Aug 7. pii: S0895-4356(15)00369-8. doi: 10.1016/j.jclinepi.2015.05.035.

WHOのGRADEガイドラインを読む際は、WHOのサブグループによるGRADE改変の内容を把握する必要があります。

例、Immunizationのサブグループ改変など・・・
GUIDANCE FOR THE DEVELOPMENT OF EVIDENCE-BASED VACCINERELATED RECOMMENDATIONS

ただし、GRADEの基本は2003年から同じなので、この点を勘違いすると、”GRADEは開発途上とか、未完成で修正が必要”などという、とんでも発言をする方がでてくることになります。(^^;

Cochrane method 2015（Cochrane Methods. Cochrane DB Syst Rev 2015 Suppl 1: 1–72）より

Carrasco-Labra1 P, Holger Schunemann et al.
Enhancing the acceptance and implementation of Summary of findings tables in Cochrane Reviews–
New alternative format for summary of findings tables: A randomized controlled trial

[要約]
McMaster大学のチームは、2004年からコクランレビューで使われているSoFテーブルについて、新しい様式のSoFの非劣性RCTを実施した。
結果として、(1)リスク差の理解、(2)エビデンスの質と治療効果の理解において、新様式SoFが優れていた。他の5項目については、差がなかった。

●従来のSoFと新様式のSoF

●結果

●SoF例

●推奨

コクランレビューに、この新様式のSoFを含めることを勧める（strong recommendation, moderate QoE)

診療ガイドラインの作成者は、主要アウトカムに関するエビデンスを表形式で要約すべきで、GRADEにおいては、エビデンスプロファイルやSoFテーブル（両者を合わせてエビデンステーブルと呼びます）がこれに相当します。
Minds2014のアルテプラーゼに関するデータを使って作成した、GRADEpro GDTによるエビデンスプロファイルが以下です。

相原コメント：
GRADEエビデンスプロファイルにおいては、各アウトカムに関するエビデンスの質とその評価理由、さらにSoFが提示されます。そして、SoF部には、相対効果とともに、絶対効果が1000人あたりの効果として入力データが自動変換されて表示されます。また、（上図の”mortality”のように）対照群のベースラインリスクを3段階まで設定して、対応リスクを表示することが可能です。

上のエビデンスプロファイル例においては、総死亡（統計学的に効果なし）の絶対効果は、1000人あたり2人増えますが、最良21人減か最悪30人増です。依存性（統計学的に差なし）の絶対効果は、1000あたり43人減少ですが、最悪の場合、37人増加です。一方、脳出血に関する絶対効果は、1000人あたり51人増加であり、少なく見積もっても16人増加です。1週間以内の脳出血のほとんどが死亡するというこの望ましくないアウトカムは、明らかにbenefitを上回っていることが、1000人あたりの絶対効果を比較する（点推定値：43人 vs 53人）ことで容易に理解できます。
同じような比較アプローチは、NNTとNNHでも可能ですが、1000人あたりの効果を比較する方が、NNT/NNHを理解していない人にとっても簡単です。

このように、GDTを使ったGRADEエビデンスプロファイルが、Minds手引きにあるようなエクセル形式の評価シートよりも簡単であり、アウトカムごとのエビデンスの質と、グレードダウンの理由が明確に記載された一覧表（GRADEエビデンスプロファイル）として出力可能です。また、エビデンステーブルとしてのSoFテーブル表示の切り替えや、エキスポートしたSoFをRevManに取り込むことも可能です。さらに、エビデンスから推奨作成のためのEvidence to Decision（EtD）テーブルを作成できることなどを考えると、GDT利用がはるかに有効であると言えます。

注：Minds2014に記載されているアルテプラーゼ例は、単にエビデンスの強さや推奨を評価するためのシナリオでしょうから、実際の国内ガイドラインの推奨とは切り離して考えるべきです。

rt-PA（アルテプラーゼ）静注療法適正治療指針 第二版（日本脳卒中学会、平成24年）では、以下の推奨（*）です。

*エビデンスの質と推奨の分類は、Minds2007と思いますが、以下の問題があります。
Minds2007からGRADEへより

GRADEにおける推奨は、（エビデンスの質、価値観・好み、コストの他に）望ましい効果と望ましくない効果のバランスによって推奨の方向が決まり、両者のバランスの大きさによって推奨の強さが決定します。エビデンスの質と、利益と害のバランスについては前回解説しました（Minds2014 vs GRADE -(4):overal QoE across outcomes）。

Mind2014で解説されている推奨とエビデンスの質評価例（alteplase）は、以下です。

推奨分草案 （マニュアル p162）

相原コメント： エビデンスの強さを記載した評価シート（Minds書籍p46）を見る限り、６か月後の依存性は代理アウトカムであり重要度も低い（Mindsメンバーとの私信）ことから、総死亡と脳出血の２つを”重大なアウトカム”として、アウトカム全般にわたる全体的なエビデンスを評価すべきでしょう。 利益と効果のバランスは、前述のごとく、明らかに害>益です。“1週間という短期に、脳出血例の多くが死亡するという害（NNH 17, 95%CI:14-22）が増える”という質の高いエビデンスがありながら、半年後の総死亡（治療効果なし）や、6か月後の自立性（これも統計学的に効果なし）とを比較して、「総死亡率低下、ADL保持、脳出血防止を考慮した場合、rt-pA治療を提案する」という推奨は不適切でしょう（Do no harm）。しかし、実はこの判断には注意が必要です。なぜならば、出血に関しては中等度の異質性があり、この原因を調べる必要があります。 一般に推奨の方向や強さを考える際には、ベースラインを考慮した”絶対効果”を使って比較検討しますが、以下では、”相対効果”や”絶対効果”を使って、推奨とアウトカム全般にわたるエビデンスの質を考えてみます。

[相対効果を使った比較] 3件のアウトカムと、その効果推定値(RR、95%CI)、および各アウトカムのエビデンスの質を図示したものです（ここで記載しているアウトカムの重要性とエデンスの質はMinds2014とは異なります。 Minds2014 vs GRADE -(3):RCTのエビデンス総体の質を参照）。 ●例ａ　”２つの重大なアウトカムと１つの重要なアウトカムの場合” 例aの解説： 重大なアウトカム2件（総死亡と脳出血）に関して評価する。点推定値を使った、望ましい効果と望ましくない効果は同じ方向で、利益なしか害を示しています（推奨の方向は、”介入を支持しない”）。したがって、アウトカム全般にわたる全体的なエビデンスの質は、“high”です。 最終的な推奨：急性脳梗塞患者にはアルテプラーゼの治療を推奨しない  （高い質のエビデンスに基づく強い推奨反対: GRADE 1A）

[絶対効果を使った比較] 各アウトカムの効果指標に絶対効果（1000人当たりの効果）を使い、さらにアウトカムに置く価値観を考えて推奨を考えるとどのようになるかを考えてみます。 ●例ｂ　”２つの重大なアウトカムで、それぞれのアウトカムの価値観が同じの場合” 例ｂの解説： 点推定値からは、総死亡は1000人あたり2人増加し、脳出血（ほとんどが死亡）は1000人あたり51人増加することを示しており、例ａと同じく、介入を推奨しないという判定になると思います。また、総死亡と脳出血に置く価値観は、脳出血のほとんどが死亡するということから、同じレベルであろうと判断できます。一方、総死亡の信頼区間の下限からは、1000人あたり21人減少という望ましい効果があり得ますが、点推定値の害の閾値としての脳出血51/1000（図中　赤色の縦点線）を下回っており、”推奨しない”という評価は変わらないでしょう。またこの際は、（信頼区間の上限と下限は、閾値をまたいでいないことから）不精確さを理由にエビデンスの質をグレードダウンする必要はありません。なお、”6か月後の依存性”は重大なアウトカムではないため評価対象外です。   ●例C　”３つの重大なアウトカムで、アウトカムの価値観が異なる場合” 例Ｃの解説： パネルが”依存性”のアウトカムを重大であるとした場合はどうでしょうか（上図）。この場合、依存性や総死亡、脳出血に置く価値観がどの程度かということも考慮する必要が出てきます。 ●３つのアウトカムに置く価値観が同じ場合（通常ありえない）を考えてみます。 依存性の効果としての点推定値、1000人あたり43人の減少のみでは、介入を支持する推奨を示唆します。しかし、死亡が2人増加し、脳出血が51人増加すること（総計53人）と比較すると、”推奨はしないであろう”という判断になるでしょう。 では、依存性に関する最大効果としての信頼区間の上限である、1000人にあたり111人減少（図中、青色の縦点線）は、望ましくない効果（死亡と脳出血）の53人を上回っています。つまり、信頼区間の下限と上限の間に閾値（53人/1000人）があることを示し、この場合は、不精確さを理由にグレードダウンする必要があります。 ●それぞれのアウトカムに置く価値観が異なる場合（より現実的）を考えてみます。 もし死亡や脳出血の価値が依存性の”5倍”ならば、死亡と脳出血死亡の重みは、それぞれ10人と255人となり、推奨反対の決断はさらには強いものとなるでしょう。 依存性の効果の範囲として、信頼区間の下限（37人悪化/1000人）でみると、全てのアウトカムが望ましくない方向であり、推奨反対は変わりません。では、信頼区間の上限ではどうでしょうか。1000人あたり111人減少するという効果（青色の縦点線）は、死亡に置かれる価値（依存性の5倍＝10人増加）と脳出血に置かれる価値（依存性の5倍＝255人）を考えると、明らかにデメリットがメリットを上待っています。つまり、依存性に関する介入効果を最大としても、設定した点推定値を使った閾値（総死亡＋脳出血＝265人）を下回っており（信頼区間の全体がこの閾値を下回っている）、不精確さを理由に、エビデンスの質をグレードダウンする必要はありません。 このように、アウトカムの価値観や、害の閾値によりimprecisionの評価が異なってくることに注意する必要があります（あたりまえといえばあたりまえですが）。

以上、推奨を考える上では、特にアウトカムの方向が異なる場合、各アウトカムにおく価値観を考慮する必要があり、臨床医や患者あるいは家族の価値観を事前に評価することになります。アウトカムの価値観の測定の一つとしての感情温度計については、GRADE2版のp145脚注を参照してください。

すでに述べたようにNNTやNNHを提示することで、介入の利益と害について比較できますが、GRADE evidence profileを使うと、（NNTやNNHを使わなくても）上記の例ｂ、例Ｃのように、1000人あたりの絶対リスクを使うことでより簡単に比較できます。さらに、GRADEpro GDTを使うと、1000人あたりの効果のみならず、異なるベースラインの絶対効果を知ることができ、エビデンスプロファイル、SoFテーブル、Evidence to Decision tableをさまざまな様式で作成することが可能です。

次回、Minds2014例（alteplase）を使って、GRADE evidence profile, Evidence to Decision tableを紹介しますが、エビデンスの質や推奨の判断の透明性が高いことを理解してほしいと思います。

GDTの使い方などは、診療ガイドラインのためのGRADEシステム第2版（相原）を参照ください。

注1：Minds手引きの批判ということではなく、Minds2014の記載例を使って、GRADEシステムによるエビデンスの質や推奨の強さと方向を決定する流れを理解していただくというのが主旨です。本ブログで指摘している内容が正解とは限らず、特に、後述のアウトカムに関するエビデンスの質評価や推奨の方向などについては、このような考えもあるという程度の認識で本内容を読んでいただきたいと思います。

注2:GRADEは、”同じデータを使うとエビデンスの質や推奨に関して同じ結果を得ることができる”という再現性を保証しているものではありません。最低限の基本ルールを使って、透明性の高い判断ができるというのが、GRADEのメリットの一つです。

注3：Minds2014に記載されているアルテプラーゼ例は、単にエビデンスの強さや推奨を評価するためのシナリオでしょうから、実際の国内ガイドライン（日本脳卒中学会）の推奨とは切り離して考えるべきです。

・・・・・・　最後まで読んだあなたは、すごい。よほどGRADEに興味を持っているのでしょうね。＼(^^)