推奨の強さと方向を決定する４つのGRADE要因は、望ましい効果と望ましくない効果のバランス、アウトカム全般にわたるエビデンスの質、価値観や好み、コストです。
残念ながら、Minds2014には、推奨の強さと方向に関連するエビデンスの質を具体的にどのように評価するかは、どこにも記載されていません。しかし、GRADEシステムには、推奨の決定要因の一つとしての、”アウトカム全般にわたる全体的なエビデンスの質（overall quality of evidence across outcomes）”の評価のための基本ルールが存在しています。GRADE教科書4.5章にも記載していますが、本記事では、この点について解説します。

●アウトカム全般にわたる全体的なエビデンスの質を決定する際の規則（GRADE教科書　4.5章より）

GRADE教科書2版にも、具体的な判断例を記載していますが、ここでは、いくつかの評価例を紹介します。
以下の3枚のスライドは、Holgerが作成したものですので、利用したい方は、Holgerから許可を得てください。

●例１

例１の評価：
重大なアウトカム3件（入院、死亡、重症有害作用）、重要なアウトカム1件（中等度のアレルギー反応）を示すメタアナリシスです。各アウトカムのエビデンスの質は、Highが2件、moderateが1件、lowが1件です。診療ガイドラインにおいては重大なアウトカムのみを採用するというルール#1から、3件の重大なアウトカムのエビデンス（high, moderate, high）を比較します。入院と死亡のアウトカムに関する点推定値は介入が有効であることを示し、重症有害作用のアウトカムに関しては介入が有害であることを示しています。つまり、効果の方向は異なっています。したがって、ルールの#2から、重大なアウトカム3件の中で、”最も質の低いエビデンス”である”moderate”を「アウトカム全般にわたる全体的なエビデンスの質」とします。点推定値を見る限り、望ましい効果が望ましくない効果を上回っているようですが、推奨の強さはパネルの総意によって決定します。

●例２

例２の評価：
重大なアウトカム4件を示すメタアナリシスです。各アウトカムのエビデンスの質は、Highが3件、moderateが1件です。ここでは、重症有害作用に関して、強い推奨のための害許容閾値を縦点線で示していますが、重症有害作用（SAE）の信頼区間の上限はその閾値を下回っています。つまり、4件のアウトカムは、全て同じ方向で、介入を支持するというものです。本例の場合の、アウトカム全般にわたる全体的なエビデンスの質は、”最も質の高いエビデンス”である”high”となります。推奨の強さはパネルの総意によって決定しますが、おそらく”強い推奨”となると思います。

●例３

例３の評価：
重大なアウトカム4件を示すメタアナリシスです。各アウトカムのエビデンスの質は、Highが3件、moderateが1件です。重症有害作用（SAE）の信頼区間の上限は、強い推奨のための害許容閾値（縦点線）をまたいでおり、利益と害のバランスが不確実です。本例の場合の、アウトカム全般にわたる全体的なエビデンスの質は、”最も質の低いエビデンス”である”moderate”となります。推奨の強さはパネルの総意によって決定しますが、”弱い推奨”となるかもしれません。

以上のように、GRADEガイドライン作成の際は、（効果にみあった害許容の閾値とともに）介入による効果の方向を考えて、アウトカム全般にわたるエビデンスの質を決定するためのGRADEの基本ルールを利用することが必要です。GRADEを難しいと考えている方々の多くは、上記のGRADEの基本ルールを知らないためにそのように思うのでしょう。

ちなみに、この”アウトカム全般にわたる全体的なエビデンスの質に関するGRADEルールは、BMJシリーズやGRADEハンドブックに10年前から記載されている、GRADEの最も重要かつ基本的な基準の一つです。

では次回、このGRADEルールを使って、Minds2014で記載されている推奨評価例（アルテプラーゼ例）をチェックしてみましょう。

エビデンスの質のグレードダウンやグレードアップの際には、明確な判断理由を提示しないといけないというのがGRADEの基本ルールの一つです。以下は、Minds2014で紹介されているエビデンス総体の評価シートです。

RCTのエビデンスの質評価 （書籍 p44, マニュアル p142）

相原コメント： 6か月後の総死亡（3件のRCT）は、indirectness(-1)があっても、エビデンスの強さ=Aである。これはどうしてなのだろうか？ また、統合推定値は、RR=1.01 (95%CI: 0.91-1.13)で、”効果なし”ですが、imprecisionについてはまったく記載がありません。indirectness(-1)ならば、本来はエビデンスの質は＝Bであり、さらにimprecision(-1)ならば、エビデンスの質は＝BもしくはCにグレードダウンとなるでしょう。 6か月後の依存性（3件のRCT）は、indirectness(-1)がありながら、エビデンスの強さ=Bです。総死亡の評価と異なるのはどうしてなのだろうか？ さて、依存性（自立性）評価は代理アウトカムであり、基本的には重要度は低いものです。介入の違い・代理アウトカムによるindirectness(-1)ならば、エビデンスの質は＝Bですが、この推定値にはさらに他の問題があります。 すなわち、同じデータをRevMan 5.3を使って入力して得たフォレストプロットが以下であり、heterogeneity = 57%です。この異質性が説明できないものならば、エビデンスの質をさらにグレードダウン（inconsistency）とする必要が生じるかもしれません。場合によっては、サブグループごとにエビデンスの質を提示する必要があるかもしれません。 また、統合効果推定値は、RR 0.93 (95%CI: 0.82-1.06)ですが、imprecisionはなしと評価しています。しかしながら、最終的に本解説者らは（害よりも益が大きいと判断し、介入を推奨していることから、依存性に関する効果は閾値をまたいでいることになり）この判断は（過程に矛盾があり）不適切です。   なお、NNTの計算（書籍p49）は相対リスク減少の逆数としており誤っています。絶対リスク減少を使った（重みづけを無視した）単純計算では　NNT=33です。 1週間以内の脳出血（3件のRCT）は、indirectness(-1)があっても、エビデンスの強さ=Aです。これはどうしてなのだろうか？ indirectness(-1)ならば、エビデンスの質は＝Bでしょうし、グレードダウンに値するほどの非直接性ではないという判断ならば、その旨の説明が示されていないといけません。また、本エビデンスにおいても、I2 = 60%という中等度の異質性があり、異質性に関する説明が必要です。ちなみに、NNHは、17であり、点推定値を比較する限りは、依存性のそれの2倍ですが、サブグループで比較すると別の結果になるのかもしれません。 Minds2014で記載されている”エビデンス総体の評価シート”では、エビデンスの質がどうしてグレードダウンになったのかの明確な説明がなく、ガイドライン作成者は理解ができないでしょう。また、Minds評価シートでは、システマティックレビューでは問題となることが少ない相対効果のみが提示されていますが、ベースラインリスクが異なる集団に推奨を作成することが多い診療ガイドラインにおいて必要な絶対効果の提示がなく、利益と害のバランスの評価が難しくなっています。 以上からわかるように、Minds2014で記載されている”評価シート”を使うより、GRADEpro GDT (G2DT)（注2）を利用すべきです。G2DTにおいては、グレードダウンやグレードアップの評価の場合、なんらかの説明入力が必ず要求されるようになっています。効果推定値に関しても、相対効果と絶対効果が提示され、3段階のベースラインリスクが入力設定できます。また、多様なエビデンステーブル（2種類のエビデンスプロファイル、interactive SoFを含めた3種類のSoFテーブル）が作成可能であることやSoFのRevManへの取り込み可能、推奨のための(interactive) Evidence to Decisionテーブルの作成可能などといったメリットから、RevManとGDTを利用することを推奨します（GDTを使ったエビデンスプロファイルやEvidence to Decision tableは後日紹介します）。

注1：Minds手引きの批判ということではなく、Minds2014の記載例を使って、GRADEシステムによるエビデンスの質や推奨の強さと方向を決定する流れを理解していただくというのが主旨です。本ブログで指摘している内容が正解とは限らず、特に、後述のアウトカムに関するエビデンスの質評価や推奨の方向などについては、このような考えもあるという程度の認識で本内容を読んでいただきたいと思います。

注2: G2DTを利用するためにはGoogle Chromeをインストールする必要があります。

エビデンスの質は、個々の研究について評価するものではなく、アウトカムを主体として複数の研究を統合したエビデンス総体（body of evidence）の質を評価するのが、GRADEの原則です。この原則は、RCTであれ、観察研究であれ同じです（ただし、CQによっては、エビデンスが1件ということはあり得ます）。

しかし、Minds2014においては、以下のようにエビデンス評価例が記載されています。

観察研究のエビデンスの質評価 （書籍 p45, マニュアル p141）

相原コメント： 個別の観察研究のエビデンスをグレードアップすると誤解していいます。観察研究が1件しかない場合は別として、基本的には、複数の研究によるbody of evidenceについてグレードアップを評価するのが、GRADEシステムです。

観察研究のエビデンス総体の質評価 （Minds2014 書籍 p47, Mindsマニュアル p143）

相原コメント： 本例のアウトカムは代理アウトカムであり、通常は、代理アウトカムの重要性は“重大（score=8)”ではありません。 2群比較において、介入群540例、対照群７例と大きなアンバランスがあり、RoB (-2)、indirectness (-1)、がありながら、エビデンスの質はグレードダウンすることなく、”low (C)”です。本エビデンスの質は、（場合によってはimprecisionから）very lowの判断が妥当でしょう。 •CPGにおける代理アウトカムの選出や、効果比較研究におけるエビデンスの採用（データがないものをゼロ件として統合している）などに問題がありそうですが、いずれにしてもQoEの質評価は不適切でしょう。

注：Minds手引きの批判ということではなく、Minds2014の記載例を使って、GRADEシステムによるエビデンスの質や推奨の強さと方向を決定する流れを理解していただくというのが主旨です。本ブログで指摘している内容が正解とは限らず、特に、後述のアウトカムに関するエビデンスの質評価や推奨の方向などについては、このような考えもあるという程度の認識で本内容を読んでいただきたいと思います。

診療ガイドラインの作成のための手引きとしては、国内においては、GRADEシステムと、Minds2014手引きが存在しています。一見ダブルスタンダードのように見えますが、では、この両者には違いがあるのでしょうか？

本ブログにおいては、Mindsによって作成された診療ガイドラインのためのMinds2014手引き（以下、Minds2014）について、GRADEと同じなのかあるいは異なるならばどのように異なるのかを、GRADE working groupの一人として意見を述べたいと思います。
Minds2014のマニュアルが以下です。

●Minds 診療ガイドライン作成の手引き2014
●Minds診療ガイドライン作成マニュアル

Minds2014の提案する方法の位置づけ

本稿で提示する診療ガイドライン作成方法は、国際的に現時点で公開されているGRADE, The Cochrane Collaboration, AHRQ, Oxford EBM centerほかが提案する方法を参考に、我が国における診療ガイドライン作成に望ましいと考えられる方法を提案した。（Minds2014 書籍p2）

相原コメント： Minds2014は、エビデンス総体の質の定義や評価法、グレードダウンやグレードアップの要因、推奨の強さの定義や判定法など、GRADE working groupが開発したGRADEシステムと同一です。 Mindsメンバーが紹介している「診療ガイドライン作成ワークショップ講義動画」を見る限り、GRADEシステムそのものです。 したがって、あたかもMindsグループが、さまざまな欧米のシステムを参考にして作成したかのような記載ですが、書籍の序文や方法論において、なんらGRADEの論文を引用していないのは、倫理的にいかがなものかと思います。引用を明記しないで、そのコンテンツを利用記載するのは、非常に問題と思います。 Minds2014がGRADEを参考にしつつもGRADEシステムとは異なるということであれば、その違いを明記すべきですし、GRADEに準じたということであればその旨をきちんと記載すべきでしょうが、Minds2014の記載内容にはGRADEとして疑問の部分があります。

注：次項より紹介する記事は、Minds手引きの批判ということではなく、Minds2014の記載例を使って、GRADEシステムによるエビデンスの質や推奨の強さと方向を決定する流れを理解していただくというのが主旨です。本ブログで指摘している内容が正解とは限らず、特に、後述のアウトカムに関するエビデンスの質評価や推奨の方向などについては、このような考えもあるという程度の認識で本内容を読んでいただきたいと思います。

”エビデンスの質”の用語について・・・・

GRADE woriking groupは、当初、”quality of evidence”の用語を使っていました。

しかし、疫学や臨床疫学の論文において、著者らがしばしば”quality of evidence”を一次研究のrisk of biasの意味で使うため、body of evidenceの信頼性（trustworthiness）と混乱することがありました。

そのために、GRADEは 次に、”quality” を”confidence”に置き換えることにしましたが（”confidence of evidene“）、今度は、効果推定値の精確さ（precision）を表現する用語である信頼区間（confidence interval）と混合する懸念が出てきました。

従って、ごく最近では、”certainty of evidence”を使うようになっていますが、”strength of evidence“を含めて、上記の３つ（quality, confidence, certainty）を全て同じ意味で使っているということです。

ただし、GRADEは、推奨に関して”strength”の用語をあてているので、”Strength of evidence”はあまりお勧めしないという方針です。

そして、GRADEシステムにおけるエビデンスの質の定義が以下です。

用語に関してまとめると、
●Quality of evidence:　 エビデンスの質・・・・・・OK
●Confidence of evidene：エビデンスの確信性・・・・OK
●Confidence in effect estimates：効果推定値の確信性・・・・OK
●Certainty of evidence：エビデンスの確実性・・・・OK
　
●Strength of evidence：エビデンスの強さ・・・・Not recommended

2015年1月に出版されたPRISMA-P 2015を紹介します。PRISMA-P2015は、17項目（26のサブ項目）から成るチェックリストがありますが、そのうち13項目は従来のPRISMAと重複したものです。

Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: elaboration and explanation. Shamseer L, Moher D, Clarke M, et al. BMJ 2015;349:g7647

●PRISMA-P 2015 cheklist

●従来のPRISMA 2009チェックリストと、PRISMA flow diagram

●PRISMAチェックリスト2009を使った評価例

日本蘇生協議会のJRC蘇生ガイドライン2015が公開されました。

治療介入や診断介入について、GRADEシステムの基本が使われています。GRADEガイドラインを作成しようとする方々は、ぜひ参考にしてほしいと思います。

それにしても、一気に診断GRADE、Evidence to Decision table利用ですからすごいですね。
Mindsシステムを使っている方々は相当な遅れをとったことになりますし、これからも大変つらく複雑なCPG作りとなることでしょう。

今後、さらに予後GRADE、質的研究GRADE-CERQual が登場してきます。(^^)

AHA 2015におけるエビデンスのレベルは、A, B-R, B-NR, C-LD, C-EOの4種類ですが、GRADEの４つのカテゴリとの対応は以下です。

では、RCTや観察研究からの具体的なGRADEエビデンスの質を、上記の対応表を使って変換すると、AHA分類ではどうなるでしょうか。

下図でわかるように、２～３段階グレードダウンしたRCTのlow(C)とvery low (D)のエビデンスは、いずれもLOE C-LDとなります。また、観察研究においては、GRADEの５要因に関して深刻な問題のない観察研究のlow（C）のエビデンスは、AHA分類では B-NRでmoderateであり、なんらかの妥当性の問題があってグレードダウン（lowから1段階）となったvery low(D)のエビデンスはAHA分類のC-LDです。一方、１～２段階グレードアップした観察研究のmoderate (B), high(A)のエビデンスを考えると、AHA分類では、（スタート時がmoderate= LOE B-NRであることから）LOE Aということになるのでしょうか？　しかし、AHAの記載では、LOE=Aは、RCTのエビデンスのようです。

以上のように、AHA 2015 guidelinesを読む際には、エビデンスの質に注意することが必要です。
せっかくGRADEを使って、Evidence profileやEtD tableまで作成していながら、推奨の作成においてGRADEエビデンスをAHA分類に変換しており、とても解釈しにくい内容となっていると思います。
特に、アウトカムの方向が異なる場合の”アウトカム全般にわたるエビデンスの質”については、とても複雑な変換になっているような気がします。

ILCORガイドラインとしては、JRC蘇生ガイドライン2015が、GRADEガイドラインとして優れています。

ILCOR webサイトで、10/14に、guidelines (ERC 2015, AHA 2015)が公開されました。

AHA 2015 guidelinesは、エビデンスの質や推奨の強さをGRADEシステムを使って評価していますが、最終的にはAHAの分類に変換するという複雑なものです。

●AHAのエビデンスの質：
GRADEの４つのカテゴリ（高、中、低、非常に低）を、AHA LOE(level of evidence)= A, B-R, B-NR, C-LD, C-EOに変換します（下表）。

●AHAの推奨の強さと方向：
推奨の分類は、５種類（Class I, IIa, IIb, III:No benefit, III:Harm）です（下図）。推奨の強さとしては、strong, moderate, weak, の3種類であり、GRADEの基本とは異なっています。

●具体的なGRADE評価の記載内容は適切だろうか？

例、Part 9: Acute Coronary Syndromes

Evidence profile

観察研究のエビデンスの質を評価する場合は、グレードダウンの５要因に関して問題がない場合に限り、グレードアップについて検討することができる、というのがGRADEのルールである。RoBやinconsistecyに深刻な限界があってグレードダウンとなったエビデンスの質を（効果が大きいからとして）、グレードアップしてはならない。 関連Evidence profileにはGRADEの質が提示されていませんが、（本文に合わせて）very lowとすべきです。

他にも、同じような判断記載や、各アウトカムに関連するエビデンスの質と推奨につながら最終エビデンスが一致しないものがあるようです。

JJRCガイドラインは、本日公開されますが、どうだろうか・・・・・。