国内のGRADE診療ガイドラインー日本呼吸器学会, 日本集中治療医学会, 日本呼吸療法医学会
ARDS診療ガイドライン2016
GRADE評価に関しては、多くの問題があります
（GRADE利用に関する意見を参照）。
ガイドラインに関連する全てのエビデンスを公開していることは、とてもすばらしい姿勢と思います。なので、上記の評価や下記の解析を第3者が実施することが可能となります。
GRADE利用は別として、本診療ガイドラインのCQ13 においては、さまざまな治療に関する”対プラセボ”の効果が提示されています。しかし、実際のARDS患者または家族は、各薬剤間（多重治療比較として）の効果と安全性、およびそれら確実性を知りたいのではないでしょうか？
具体的には、・・・・
例１．ネットワークメタアナリシス（コントロールを含めて14種類の薬剤介入）
例2. ステロイドと比較した各薬剤の効果（アウトカム＝短期死亡）
これらを、ベースラインリスクを考慮して、望ましくない効果とのバランスを評価する必要があります。
国内のGRADE診療ガイドラインー 日本リウマチ学会
http://www.grade-jpn.com/jp_grade/japanese_grade_cpg.html
GRADE評価もさることながら、実際のRA患者は、各DMARDsの”対プラセボ”の効果というよりは、むしろ、”各DMARDs間”の比較効果と安全性、およびそれら確実性を知りたいのではないだろうか
Mindsの10月のWS資料の公開です。
*****************************************************2016年10月19日に開催しました次のセミナーのレポートを公開しました。
第14回 Mindsセミナー
診療ガイドラインの作成・普及・活用・評価：NICE、GRADE、Mindsの取り組み」
http://minds.jcqhc.or.jp/n/12/T0012295
*********************************************************
Holgerがここまで解説したならば、GRADEガイドラインに関しては、もう大丈夫なはずですが・・・
それにしても、Minds Handbook 2014英語版ができていたのですねえ・・・いやはや・・・
GRADEを使った信頼できる診療ガイドラインを作成したいならば、Minds2014を使うことをお勧めしません。
理由は本ブログでもなんども述べてきましたし、実際、Minds2014を使った国内の診療ガイドラインの内容をみると、よく解ります。
WS資料の公開は、とてもすばらしいことでありがたいことです。今後もよろしくお願いしたいです。
[GRADE-CPG解説資料-34]
システマティックレビューにおいては相対効果（または絶対効果）に、診療ガイドラインにおいては絶対効果（または相対効果）に着目するというのが基本です。
利益と害の比較の際に、絶対効果を利用するということは、ベースラインリスクの推定値に関する不確実性を検討する必要があります。
なぜならば、[相対効果] x [ベースラインリスク] ＝ [絶対効果] だからです。
ベースラインリスクに関するエビデンス総体の確実性が信頼できるものならば、統合推定値を利用できますが、そうでないならばその統合推定値を使うことはできません。そして、ベースラインリスクのエビデンスの確実性がどの程度かを評価にGRADEを適用するというのが、予後GRADEです。
前回の、仮想データのTriple-X例では、バイアスのリスク、非一貫性、非直接性、不精確さ、出版バイアスに深刻な限界がなく、最終的なエビデンスの確実性は「高」でした。つまり、ベースラインリスクの統合推定値（0.28: 95%CI : 0.24-0.32)を利用することができる（実際のデータの範囲は、0.20～0.32）という結論でした。
では、実際の診療ガイドラインにおけるデータについて、ベースラインリスクに対してどのように対処すべきかを検討してみます。
対象の診療ガイドラインは、採用データが全て公開されているARDS診療ガイドライン2016です。
本診療ガイドラインにおいては、CQが13件あり、システマティックレビューで採用された研究（RCT）は、重複例を除くと、108件です。これらのRCTの非介入群のデータを使って、ベースラインリスクにかかわる統合推定値を作成し、GRADE評価をするという方法です。
以下に、自分が設定した疑問と解析結果を紹介します（解析の詳細は各自で確認ください）
ここでは、“死亡（短期）“のアウトカムについて、STATA 14を使って解析します。
|
●Q1 各CQにおけるベースラインリスク（死亡）は類似しているだろうか？ |
|
結果： CQ１３件において、ベースラインリスクは大きくばらついている。
|
|
●Q2 body of evidenceとして、死亡（短期）に関するエビデンス総体としてのベースラインリスクはどの程度か？ |
|
結果：全研究のフォレストプロット（prognosis_forest_ards）参照。（研究数が多いため非常に縦長です）
|
|
●Q3 この異質性は、何が原因か？ |
|
結果（3-1）: 年代 年代とともに、ベースラインリスクが低下している（p=0.001）
|
|
結果（3-2）：地域：アジアのCERは欧州より低い傾向あり（多重解析では差がなし）
|
|
結果（3-3）：Risk of bias：統計的な差なし
|
|
結果（3-4）：メタ回帰（共変量：患者の年齢、研究発表年代、研究地域（欧州、北米、アジア）, risk of bias）では、残差の変動の10%が異質性によるものである。残りの90%は個別研究内における標本の違いに起因する。研究間の分散の75%（=Adj R^2）は、これらの共変量で説明できる。研究間の分散はT^2=0.001。
|
|
異質性に関する結論：短期死亡ベースラインの最小ゼロ～最大80%の大きな異質性は、研究年代と研究実施地域の影響もあるが、異質性の原因はよくわからない。 |
|
●Q4 出版バイアスはあるか？ |
|
結果：出版バイアスはありそうにない。十分な研究数（108件）を使ったファンネルプロットは非対称性ではなく、Begg test (p=0.055), Egger test(p=0.523)でも統計的有意差なし。
|
|
●Q5 body of evidenceとしての確実性（GRADE）は、どの程度か？ |
|
結果： 「低」の確実性のエビデンス エビデンスの確実性（GRADEの定義）：
|
結論として、ARDSデータの統合推定値は、そのまま使えないという判定になります。
（まあ、実際には、ARDSのエキスパートが考えて診療ガイドラインに対処していると思いますので、上記の解析は、あくまでGRADEによる診療ガイドラインの作成における重要なステップとして、”ベースラインリスクについてはこのように考えるべきだろう”という解説だけのために紹介しています）
国内のGRADE診療ガイドラインー 日本顎関節学会
http://www.grade-jpn.com/jp_grade/japanese_grade_cpg.html
1.咀嚼筋痛を主訴とする顎関節症患者に対するスタビライゼーションスプリント治療について
2.開口障害を主訴とする顎関節症患者に対する自己開口訓練について
3.顎関節症患者に対して、咬合調整は有効か
評価は個人的なものです。
英語版を読んでも、同じ問題があるように思います。
またコメントにも記載しましたが、（英語版でも明記しているように）、本診療ガイドラインを更新すべきと考えます。
[GRADE-CPG解説資料-33]
GRADEに従った診療ガイドライン作成においては、SRチームとCPGパネルの協調が必要ですが、両者にはアウトカムに対する考え方の相違があります。そして、推奨作成を目的としたCPGパネルには、いくつかの重要な事前作業があり、決して「とりあえずエビデンス総体をみながら推奨の強さを検討しましょう」としてはいけません。そのようなことをすると、推奨の強さや方向が、途中で何度も変わってしまうことになります。
|
●SRチームとCPGパネルのアウトカムに関する考え方の違い |
|
CQのアウトカム設定時には、（一般にSRチームが）重要と重大なアウトカムを選出すべく、１～９点スケールで評価します。SRチームが選出したアウトカムについて、診療ガイドラインで採用するかどうかは、CPGパネルの決断に委ねることが通常です（SRチームとCPGパネルが一緒に議論して決定することもあるかもしれませんが、推奨を決定するためのアウトカムの選出は、基本的には、SRチームの能力外だろうし、そこまでSRチームに負担を強いることはできないという考えです）。 つまり、“CQのアウトカム設定時”の重要度のスコアはSRの対象にするかどうかを考慮するものですが、厳密には、“重要ではない（１～３点）” vs “重要・重大（４～９点）”のアウトカムと選別ともいえます。 |
さて、再検討の上で決定した“重大なアウトカム”に関して、エビデンスの確実性を評価し推奨決定プロセスに進む前に、CPGパネルにはいくつかの重要な事前検討があり、その一つがベースラインリスクの想定です。これもSRチームの管轄外であり、CPGパネルが実施することになります。
|
●ベースラインリスクの想定がなぜ必要なのか？ |
|
SRチームは、設定したCQにおけるPICOを使って、幅広くかつ網羅的にエビデンスを収集して、適格基準にみあった研究エビデンスを統合しますが、各エビデンスのベースラインリスクはばらついていることが一般的です。そのため、とりあえずエビデンスプロファイルに提示するベースラインリスクとして（たとえば2値アウトカムの場合）、全体のイベント率または採用研究の中央値を中リスクの推定値、上から2番目あるいは下から2番目の値をそれぞれ高リスクと低リスクの推定値として利用し、「相対効果」を絶対効果とともに提示することがGRADEが勧めている手法です。 しかし、推奨作成を目的とするCPGの場合は、見込まれる介入治療の利益が、害やコストに見合うかどうかの比較を、（相対効果ではなく）「絶対効果」を使って評価する必要があります。 例えば、 （B)一方、CHADS2スコア＝２で、脳卒中の年間発症リスクが4.5%（45/1000）の患者のワルファリン治療では、脳卒中の絶対リスク減少は45 x 0.65 /1000 = 30/1000です。 このように、同じ”相対効果”でもベースラインリスクによって、当該介入の”絶対効果”が異なることから、推奨作成においては、アウトカムのベースラインリスクを必要であれば複数想定して他のアウトカムと比較する必要があります。 なお、この点については、GRADE2版の4.5-3.3.3～3.2.3章にも詳述しています。 |
|
●ベースラインリスクの想定はどのようにするのか？ |
|
治療や診断・スクリーニングと同様に、適格基準を設定して、可能ならばメタアナリシスにより統合します（body of evidence）。 例、Metaprop‘s DerSimonian and Laird random effects model, with a binomial distribution to model within study variability or stabilise variances by applying Freeman-Tukey double arcsine transformation. |
|
●予後のエビデンスのGRADE評価はどのように実施するのか？ |
|
予後に関するエビデンスの確実性（質）の評価には、下図のAF（analytic framework）に示す段階において、「予後GRADE」を活用します。（http://www.grade-jpn.com/grade_materials.htmlにある“予後のエビデンスのGRADE評価を参照）
予後のエビデンスに関するGRADE評価は、「治療GRADE」と同様に、８つのドメインを利用しますが、一部のドメインは「治療GRADE」とは異なるツールや異なる基準を使って評価を実施することになります。 例えば、Risk of biasは、Quality in Prognosis Study（QUIPS）、改訂版Newcastle Ottawa（NO）ツール、『医学文献のためのユーザーズガイド（Users Guides to the Medical Literature）』（2版の18章）などがあります。 入手した予後のエビデンスが、設定した臨床疑問（CQ）の代表的患者サンプルでないならばRoBによる等級ダウン、代表的患者サンプルであってもCPGにおけるセッティングと一致しないならば、”indirectness”のための等級ダウン、または”サブグループ解析”の必要性がでてくることになります。そして、サブグループ解析の可能性があるかもしれないということは、”事前”に決めておくべき７つの項目（JAMA-UG 3eでは5項目）を意識する必要があることを意味しています（具体的には、『医学文献のためのユーザーズガイド第2版』の”サブグループ解析のchapterを参照）。 注：他のドメインに関する違いについては、GRADE working groupによる関連論文を参照ください。 |
|
●ベースラインリスクに関するメタアナリシスの具体例：Triple-X例 |
|
「解説シリーズの3.11」の仮想データ（Triple-X）を使って、心筋梗塞のアウトカムに関するRCT（6件）の対照群（観察研究）を統合したものが以下です。
ベースラインリスクの統合推定値は、フォレストプロットでわかるように0.28 (0.24-0.32: RE)、0.28 (0.26-0.30：FE)です。そして、実際のデータの範囲は、0.20～0.32です（上記リンク「解説3.11」参照）。 さらに、このエビデンス総体の確実性に関してGRADE評価したエビデンスプロファイルが以下です。 エビデンスの確実性（GRADEの定義）：
|
このベースラインリスクに関する検討がどれほど重要なものかを、次回は実際のGRADEガイドラインを使って解説します（おそらく、これが国内で目にする初めての「予後のGRADEエビデンスプロファイル」になることでしょう）。
前述のように、決して、”エビデンステーブルができたので・・・推奨作成”へと急いではいけません。
ベースラインリスクと同じく事前に検討すべき、とても重要な要因があるからです。
GRADEを利用した診療ガイドラインをどのようにして作成し、結果としての推奨やエビデンスの確実性の評価が妥当なものかを判断するためにはJCEのGRADEステップを遵守し、GRADEを利用したとする基準に合致するものである必要があります。
そのための訓練として、国内でもGRADE WSが実施されていると思いますが、その際に利用する資料としては、GRADE working groupが推奨している「Heparin vs cancer」のシナリオを使うことをお勧めします。
「Heparin vs cancer」のシナリオは、HolgerやGordonなどGRADE working groupがWSにおける教育として多用しているもので、GRADE2版や、web「GRADE関連資料」でも解説しています。
解説資料：（2012/07/12）「GRADEシステムの使い方.ppt」
上記のヘパリン例を使った「GRADEシステムの使い方.ppt」は、私がGRADE working groupの一人として、海外メンバーの許可を得て作成したものでです。これらの資料で納得がいかないということであれば、”GRADE CPG作成の基本”において使っているシナリオの、トリプルX例を利用することを強くお勧めします（MLにて進行中）。
英語の資料を希望ということならば、以下の資料をご利用ください。
各自で、コクランレビューなどを探してWSの資料としてもかまいませんが、最終的には誤解につながる可能性が高いようです。
また、GRADE working groupがco-authorである論文であっても論文の目的が異なっているならば、WSには役立ちません。
なお、GRADEを使った国内の診療ガイドラインでは、なにを参考にすべきか否かを今後紹介しようと思います。
GRADEシステムを使って診療ガイドラインを作成した際に、GRADEを適切に利用したかどうかを確認するための基準があります。
この基準を”改変”したものを使って、GRADEを使った国内診療ガイドラインの一部を評価してきました。
GRADEを利用した国内の診療ガイドライン
body of evidenceに関する認識がある程度確立した現在では、改変項目の”0. アウトカムを主体としたエビデンスの統合をしているか”は不要と思われるので、今後は本来の基準を使ったもので、より厳格に評価したいと考えています。
GRADE要素はAGREE-IIチェックでも限界があることから、GRADEを使った診療ガイドラインの評価は、最小限の基準としての、“Criteria for applying or using GRADE”を使って評価すべきです。
GRADE working groupによって作成されたこの最小限の基準は、2016年4月に改訂版が公開されており、以下がその翻訳版です。
[GRADE-CPG解説資料-32]-(2)
前回よりのつづき・・・・
アウトカム全般にわたるエビデンスの質を評価する際には、以下の”GRADEルール”を使います。
|
■複数の”重大なアウトカム（critical outcomes）”についてエビデンスの質を含めて再評価して、（それぞれのエビデンスの質が異なる場合）以下の基準を使って、「アウトカム全般にわたるエビデンスの質（確実性）」を、ひとつだけ決定する。
利益と害のバランスという点で・・・ ・当該介入効果が同じ方向ならば、複数の重大なアウトカムの中の”最も質の高いエビデンス”を採用する ・当該介入効果が異なる方向ならば、複数の重大なアウトカムの中の”最も質の低いエビデンス”を採用する ・当該介入効果の方向が不確実ならば、複数の重大なアウトカムの中の”最も質の低いエビデンス”を採用する |
このGRADEルールについて、簡単な例を挙げると以下のような判断です。
|
■Case-1: |
|
重大なアウトカムが3個あり、２つ（死亡と血液透析）はRCTのエビデンスによるもので、そのQoEはそれぞれ「高」と「中」です。3番目のアウトカムである重症有害作用に関するエビデンスは、限界のない観察研究からのもので、QoEは「低」です。
|
|
■Case-2: |
|
case１と同じアウトカムです。RCTのエビデンスのQoEはそれぞれ「高」と「中」で、観察研究のQoEは「低」です。
|
|
■Case-3: |
|
case１と同じアウトカムです。RCTのエビデンスのQoEは「中」で、観察研究のQoEは「低」です。
|
上記は非常に単純化した考えかたですが、実際には効果推定値の不精確さ（imprecision）を考慮した判断が必要になってきます。この点については、トリプルXを使って解説します（4.10章～）。
[GRADE-CPG解説資料-32]
推奨決定において採用されるアウトカムは、原則として「重要なアウトカム」ではなく、「重大なアウトカム」です。
重大なアウトカム全般に関する全体的なエビデンスについて、Mindsでは以下のように解説しています。Minds FAQより：
|
|
|
|
|
|
いささか疑問のある記載内容ですが、正確には以下です（GRADE第2版の4.5章に詳細を記載しています）。
|
■複数の”重大なアウトカム（critical outcomes）”についてエビデンスの質を含めて再評価して、（それぞれのエビデンスの質が異なる場合）以下の基準を使って、「アウトカム全般にわたるエビデンスの質（確実性）」を、ひとつだけ決定する。利益と害のバランスという点で・・・ ・当該介入効果が同じ方向ならば、複数の重大なアウトカムの中の”最も質の高いエビデンス” ・当該介入効果が異なる方向ならば、複数の重大なアウトカムの中の”最も質の低いエビデンス” ・当該介入効果の方向が不確実ならば、複数の重大なアウトカムの中の”最も質の低いエビデンス” を採用する |
まあ、当たり前といえば当たり前で、多くの臨床医が実際の臨床において決断している内容と思います。ある介入において、治療効果が明らかで利益があるならば介入を支持する決断をするだろうし、利益がなく害が明らかならば介入を支持しない決断をするでしょう。この場合、効果の方向が一方向なので、全体としてのエビデンスの質を、「最も質の高いエビデンス」に合わせましょう、ということです。
そして、有効であっても無視できない害の可能性がある介入ならば、介入を支持または不支持を考慮することになりますが、その際には全体としてのエビデンスの質を、「最も低い質のエビデンス」に合わせましょう。ひとつのアウトカムに関して利益があり、そのエビデンスの質が高いものであっても、そのアウトカムの質を採用して（他のアウトカムの質を無視して）“全体的な質”としてはいけないという意味です。
この際、ベースラインリスクを考慮する必要があり、また重大なアウトカムのそれぞれについて、アウトカムにおく”価値観”をあらかじめ設定しておく必要があります（4.6「アウトカムの価値観」）
全体的なエビデンスの強さの評価
「ガイドラインパネルが検討する推奨草案」では「重大なアウトカム全般に関する全体的なエビデンスの強さ（いずれかに○）」という項目がありますが、「重大なアウトカム」とは、「重大なアウトカム：7-9点」を指しているのでしょうか。もしそうなら重要なアウトカム（4-6点）は含まないと解釈されますが、それで良いのでしょうか？もしそうなら「重大なアウトカム全般に関する全体的なエビデンス・・・」の「全般」とか「全体的」という言葉が不要のように思います。
CQ決定の際のアウトカムの重要性の評価を原則的に変更しません。ただ、推奨作成の段階で、さらにどのアウトカムを重視するかを決定しても構いません＊。この重大なアウトカム全般のうち、特に推奨決定において重視したアウトカムのエビデンスの強さを全体のエビデンスの強さとして評価する、もしくは、重大な複数のアウトカム全般を見回してそれら全体でエビデンスの強さを評価する、という方法がとられています。これらを参考にして、作成グループで方針をご検討ください。