2017年2月23日 Posted by aihara

ANCAー2017の問題 -(5)-1 :アウトカムの数とデータの不精確さ

  

ANCA関連血管炎診療ガイドライン2017に関する、GRADE methodologistとしての意見です。

ANCA血管炎の寛解導入療法に関するCQ1-3、のPICO成分は以下です。

つまり、“RTX”は、”静注シクロホスファミド(IVCY)”と比べて、”寛解”の効果はあるか?。利益の効果があるならば、不利益にみあったものか(net effect)?です。

P I C O
ANCA関連血管炎の患者 RTX IVCY(静注CY) ・寛解
・重篤合併症
・死亡
・再燃

以下に、ANCA診療ガイドラインのCQ 1.3/4(寛解導入のRTX関連)に関する具体的な問題を記載します。

[1] GRADEにおいては、エビデンスプロファイルに提示するアウトカムは最大7件までとする

ANCA-2017ガイドラインでは、14個(重大なアウトカム12個、重要なアウトカムが2個)が提示されており、これは明らかにGRADEのルール違反です。重大なアウトカム14個から、どのようにして、アウトカム全体のエビデンスの確実性評価を決定できたのか、とても理解できないです(ちなみに、CQ-1.4では、アウトカムは17件がリストアップされています)。

これほどアウトカムが多いと、overall quality of evidence across outcomesは決定不可能です。
実際、ANCA診療ガイドラインの本文を読んでも、どのアウトカムを採用して推奨を決断したのか分かりません。

[2] 介入の害については、RCTだけではなく観察研究のエビデンスも記載すべきである

本CQでは、重篤合併症や死亡は介入に関連したもののようですが、一般的に利益と比較するためのharmについては観察研究を網羅的に検索すべきとされています。
実際、国内で実施されたRTXのパイロット研究のRiCRAV試験では、(因果関係は不明ですが)7例中2例の癌が発生していますし、SR採用論文(Stones)でも悪性腫瘍発生のHRが高いと記載されています。

[3] システマティックレビューにおける不精確さとしてのOIS評価が不適切なものが多い

いくつかのアウトカムに関するOIS評価の記述をみると判定は不適切のように思います。
GRADE2版、あるいはSRにおける不精確さの基準ー1:OIS(2値アウトカム)を参照してください。

[4] 診療ガイドラインにおける不精確さの評価は、システマティックレビューとは異なる

ANCAパネルは、下図のように、”相対効果”を使って”不精確さ”を評価しているように思います。”信頼区間が相当な利益と相当な害の双方の決断閾値をまたぐので2段階等級ダウン”としていますが、その閾値をどのように設定したのか記載がありません

システマティックレビューのエビデンスの質(特に不精確さ)を、”そのまま”、アウトカム全般にわたるエビデンスの質評価には使うことはできません。

(注:本記事のために独自に作成した下図では、”寛解”ではなく”非寛解”の値を使って相対効果と絶対効果を提示しています。ANCAガイドラインの提示データとは異なっていますが、臨床的な意味は同じです)。


以上、特に[1]と[4]が非常に深刻な問題で、本診療ガイドラインはGRADE準拠とは言えません。
そもそも、エビデンスプロファイルをエキスポートする際に、GDTから(通常、outcomeは7件までの)自動警告があったはずですが・・・それをスルーしたということです。

2017年2月21日 Posted by aihara

Surveymokey: アンケートの結果

  

Surveymonkeyによる調査結果です。(n=10)

https://jp.surveymonkey.com/results/SM-ZZZ82SB3/

投票していただいた方々へ: お忙しいなかご協力していただきまして、ありがとうございました。

いかにGRADE評価のばらつきがあるかがわかります。ただし、MLメンバーに限ると、ややばらつきは少ない傾向があります。

Q1:アウトカム全般にわたるエビデンスの質は?


CQ2:推奨の強さと方向は?


CQ3:望ましい効果と望ましくない効果のバランスは?



 

2017年2月17日 Posted by aihara

ANCAー2017の問題 -(4) :body of evidence

  

ANCA関連血管炎診療ガイドライン2017に関する、GRADE methodologistとしての意見です。

全般に共通した問題がありますが、ここでは、”寛解導入”治療のリツキサン(RTX)の推奨を考えてみます。

CQ 1-3: ANCA関連血管炎の寛解導入治療における、GC+靜注シクロホスファミド vs GC+リツキシマブ

アウトカム全般にわたるエビデンスの質と推奨のグレーディングに関するパネルの判断は、以下です。

1.重大なアウトカムに関するGC+RTXの効果は、患者にとって同じ方向でないので、「非常に低」とした。
2.寛解導入治療におけるGC+RTXは、GC+CYと比較しその有効性・安全性とも同等と考えられる。
3.寛解導入治療には、GC+RTXよりも、GC+IVCYを提案する。

GRADE 2D↑

GRADEpro GDTを使った実際のエビデンスプロファイルが、こちらです。⇒cq1-3のエビデンスプロファイル

このエビデンスプロファイルを簡略化したものが、以下です。

これまで、何度も解説しているように、診療ガイドラインにおけるimprecisionはシステマティックレビューのimprecisionとは同じではないので、推奨作成作業のスタート時点では、imprecisionはあえて空欄にしています。

また、このエビデンスプロファイルに示すデータは、ANCA診療ガイドライン2017のデータとは同一ではありません。
すなわち、本エビデンスプロファイルにおいては、アウトカム指標を、すべて”bad outcome”に統一しています。つまり、ACNA診療ガイドラインでは、死亡や重篤合併症のイベント発生についての相対効果や絶対効果を提示していますが、寛解については”寛解があった割合”を提示しており、RR 0.93(0.66-1.30)は、(RTX優位ではなく)”CY優位”を意味しています。このようにアウトカム指標の提示方向がばらばらだと、とても結果を理解しにくいことになり、誤った解釈につながりかねません(この点は、ANCA外部評価時点でコメントしました)。
したがって、本記事では、RTX vs IVCY効果において、非寛解=1.33 (0.33-5.36)と表示しています。

つまり、ANCA診療ガイドライン2017で提示されているエビデンスの結果を要約すると、次のような解釈となります。

結果を要約すると、次のような解釈となります。

  1. RXTはCYに比較し、相対効果として死亡を2倍、場合によっては15倍増やす。絶対効果としてみると、1000人中91人もの死亡が増え、もしかすると(極めてまれながら)1000人中1000人の全員が1年以内に死亡する。死亡減少の利益があるとしても、絶対効果としての最大は1000人中66人である。
  2. 寛解の効果は全くなく(非寛解が、1000人あたり60人増加)、重篤合併症もRTXによって増える(1000人あたり62人)。

では、このエビデンスから推奨をどのようにして作成するかという判断になります。

そこで、すこし、みなさんでも考えてみてほしいです。3つのアウトカム全般にわたるエビデンスの確実性は何で、GRADEの推奨の強さと方向はいずれが妥当かについて・・・

Surveymonkeyによるアンケートを実施します

このアンケートでは、3つの質問を用意しています。回答は匿名となっていて、どなたが回答したのかはアンケート作成者にもわかりません。回答者はアンケートに1回しか答えることができません。以下のURLにアクセスお願いします。所要時間は1分以内と思います。(約24時間後にはアンケート終了とします)

Web link: Surveymonkey
FB link: Surveymonkey

推奨を決定するためには、下図に示す4基準を使い、
公平性、実現可能性、主要なステークホルダーの受け入れなどは、全く考慮する必要はないです。
もっとも、これらの要因で推奨が変わるということならば、ぜひその判断根拠を教えてほしいです。

 

2017年2月16日 Posted by aihara

GRADEにおける推奨作成の4基準

  

前回ANCA血管炎ガイドラインで解説した、推奨の強さと方向を決定する基準について、他の方も誤って5つの基準を使う可能性があるので、少し補足します。

GRADEの推奨のための4基準を変えてはいけません。


おそらく、昨年末の東京でのGRADE WSにおいて講演したHolgerのスライドから引用しているものと想像します。ちなみに、Holgerが間違っているのではなく、そのスライドを、国内における推奨作成に利用することが問題という意味です。(注1参照)

さて、診療ガイドラインにおける推奨を作成する際には、マネジメントに関する場合、
”個々の患者(individual patient)”を対象としているのか、”集団(population)”を対象としているのかの、”視点”を明確にすることが重要です。

GRADEproGDTを使って、エビデンスプロファイルやEtDテーブルを作成する際には、いくつかの標準テンプレートが用意されています。DECIDEグループが中心となって作成したこの基本テンプレートにはいくつかの基準が含まれていて、12項目~17項目があります。これらは、”視点”の他に、推奨作成後の”配布”や”普及”なども考慮したものです(これらの項目については、GRADE2版の追加資料ー6を参照ください)。

個々の患者の視点: これは、個々の患者および臨床医向けに、個々の患者の視点から作成される推奨(予防的介入、治療的介入、またはリハビリテーション介入に関する推奨)のためのテンプレートです。

●集団の視点: これは、個々の患者および臨床医向けに、影響を受ける集団の視点(社会、政府、保健省、医療保険会社、または病院の視点)から作成される推奨のためのテンプレートです。政策決定者や管理者がこれらの推奨の対象者となる場合もあります。

推奨作成においては、その視点が個々の患者なのか集団なのかによって、異なる基準を考慮する必要があります。例えば、個々の患者の観点からは自己負担額が重要であり、集団の視点からは医療資源の使用(自己負担額だけでなく)が重要となります。
また、集団の視点からは、公平性(equity)、容認性/許容可能性(acceptability)、実行可能性(feasibility)も重要な考慮事項ですが、これらの基準の重要性は、個々の患者の視点からは限られているものです。
(Alonso-Coello P, ~, Guyatt GH, Schunemann H, GRADE working group。BMJ 2016;353:i2089)。

でもって、国内で作成される多くの診療ガイドラインは、個々の患者治療を支援するためのものです。つまり、診療ガイドライン作成の視点は、「individual patient」です。したがって、国内のガイドラインパネルは、GRADEガイドラインを作成するという目的においては、公平性、容認性/許容可能性、実行可能性などを”推奨作成基準”に含める必要はないということです。
GRADE遵守の推奨を適切に作成してはじめて、当該診療ガイドラインの普及、実行可能性などを検討するというのが順番です。

このようなことから、国内では、(例えばWHOガイドライン作成に参加している聖路加Cochrane Japanの太田先生グループ以外は)、これらの基準を推奨作成時点で活用する意義はないということです。それ以前に、上左図に示すGRADEの4基準(*)を適切に使うべきです。

*この基準(criteria)に関しては、4ドメイン(domain)という用語をあてて、さらにその決定要因(determinants)として6項目を使うグループもいますが、ドメインはエビデンスの確実性の8項目に使うのが基本です。6つの決定要因とは、(1)重要なアウトカムに対する介入の効果推定値の大きさ、(2)それらの確信性、(3)典型的な価値観と好みに関する推定値、(4)それらの推定値の信頼性、(5)価値観と好みのばらつき、および(6)資源利用、です。

以上から、国内のGRADE診療ガイドラインにおいて推奨を作成する際には、公平性、許容可能性、実行可能性などを含める必要はないです。

それでも、推奨作成に許容可能性や実行可能性などを含めたということであれば、質的研究統合を実施する必要があります(CERQual/GRADEを参考にしてください)。現時点で、国内において質的GRADEができるチームを見たことがないですが、無謀なことはやめたほうが良いです。

“主要なステークホルダーの受け入れ”に関しても、推奨の強さで対応できるレベルで、あえて基準にいれる必要はないと考えます。

注1. Holger Schunemann教授は、東京WSでは、次のよう内容で解説したと(私は)確信しています。

「GRADEの8ドメインを使ってエビデンス総体の確実性を評価し、エビデンスから推奨・決断のプロセスは透明性の高いものにすべきである。推奨の決定にはさまざまな要因があるが、4基準をGRADEは準備している。GRADEproGDTはエビデンスから推奨決定を支援するための有用ツールで、さまざまな目的や各視点(perspective)を考慮している。DECIDEは、マネジメントに関する推奨では12項目の決定要因を記載したテンプレートを準備しているが、目的によって変更することができる。例えば、WHOガイドラインの例においては、~~だった。
GIN-McMasterの作成基準にも記載しているように、DECIDEグループは、GRADE推奨の普及や実行可能性を考慮したチェックリストを作成している。疑問の優先性(priority)や、dissemination, implementationは、GRADEシステム適用の枠外である。」

この分だと、GRADEの「価値観や好み」についても、「preferenceの用語は不要」と誤解されている可能性がありますね。・・・ 次回。

 

2017年2月15日 Posted by aihara

ANCA関連血管炎診療ガイドライン2017の問題 -(3)

  

ANCA関連血管炎診療ガイドライン2017に関する、GRADE methodologistとしての意見です。

■GRADEにおける推奨の強さと方向を決定する基準は以下の左図に示す”4つ”です。
左はGRADE working groupが作成したもので、右はANCA診療ガイドラインです。

ANCAガイドラインパネルは、従来の基準内容を改変し全体として5つの基準を使っています。
(赤フォント部分は、外部評価の際に”本図は利用すべきではない”とコメントした後の、出版時に新規に追加されたものです)


さて、ANCAガイドラインパネル2017には・・・

”利益と害のバランス”とあります。しかし、問題-(1)で指摘したように、ANCA診療ガイドライン2017の関連資料であるエビデンスプロファイルには、”介入の害”に関する効果サイズやエビデンスの確実性は一切記載していません。提示しているアウトカムはすべて原疾患の関連アウトカムです。

価値観と好み(公平性)についての”(公平性)”とはどのようなことでしょうか?。GDTにおけるEtDテーブルの”equity”項目から引用したものと思いますが、不要です。特に(個々の患者を対象とした)ANCA診療ガイドラインには関係のない基準です。ただし、”公平性”を、アウトカムにおく重みの公平性ということならば、理解できますが、ガイドラインの本文にはそのような一切記載ないですし、アウトカムの価値観を記載していません。

GRADEの「価値観や好み」については、ANCA診療ガイドラインの本文では、さらに”優先度”という用語が使われています。これも、GDT用語から引用したものかもしれませんが、不適切ですので、本基準での”優先度”の使用は控えたほうがよいです。

資源の利用(コスト・実現可能性)の”実現可能性”も、GDTにおけるEtDテーブルの”feasibility”項目から引用したものと思いますが、(現状の国内認識のレベルでは)不要です。GRADE2版で記載している実行可能性 (feasibility)は、資源の利用に限定したものではなく、より広範な概念です。

具体的にいうと、実行可能性 (feasibility)の評価は、質的研究としてのGRADE/CERQualの領域です(下図)。したがって、(現状の国内認識レベルでは)”推奨のGRADE4基準”に、安易に他のものを追加しないほうがよいです。実際、ANCA診療ガイドラインにおいても、資源の利用・コストの判断は誤っています。


”主要なステークホルダーの受け入れ”・・・・これもANCA診療ガイドラインの外部評価にはなかったものです。おそらく、”容認性/許容可能性(acceptability)”のDECIDE基準と思いますが、(現状の国内認識レベルでは)不要です。

以上のように、ANCAパネルのGRADE改変は適切とは言えません。
GRADEによる、個々の患者治療に関する推奨の決定要因は、GRADEシステムが発表された15年前から変わらず、左上図に示す4基準です。

ANCAパネルは、例えば、昨年末の東京WSでのHolgerの解説資料を参考にして改変した可能性が大きいですが、もしそうならば、Holgerの意図を理解していないことになります。GDTにおける推奨の強さと方向を決めるためのDECIDEの12~17基準は、GRADE working groupとは別の視点で設定していることをよく理解する必要があります。GRADEあるいはDECIDE関連論文を読んでみてください。

そもそも、Holgerは昨年末の東京WSで(私は手術で入院して参加できませんでしたが)、この点を事前に説明してから、解説していると思いますが・・・

GRADE初版でも、GRADE2版でも、(最終の、「GRADE を支持,または使用している組織」において)
「ぜひともGRADE を使用したいという熱意から,GRADE を変更してしまう組織がある。~~~しかし、GRADEを改変しないようことを推奨する」と記載しています。

結局、診療ガイドラインの外部評価をして「修正を反映すれば”当該ガイドラインを推奨します”」という注釈付きの総合判定でも、外部評価の後で、さらに別の内容で追加や変更になっていれば、外部評価の意味がないことになります。
もっとも、形式的な外部評価で、実質的な修正は”次回改訂”ということでも同じなのですが、どうもこの外部評価システムには納得がいきませんね。

次回は、実際のANCA診療ガイドライン2017の推奨事項内容です。非常に深刻なものが多いです。

 

2017年2月14日 Posted by aihara

ANCA関連血管炎診療ガイドライン2017の問題 -(2)

  

ANCA関連血管炎診療ガイドライン2017に関する、GRADE methodologistとしての意見です。

■診療ガイドラインにおいて活用するGRADEシステムとは以下に示すものです
(SRとCPGのための2段階のステップ: GRADE2版から引用)

このフロー図は、GRADE working groupが長い年月をかけて作り上げた、複雑すぎずそれでいて最低限の内容を盛り込んだものです。GRADEに慣れてくると改変したくなるのは理解できますが、通常は、むしろ分かりにくい内容になり、重要な部分に関する焦点をぼかし、そして誤解を生じる方向の不適切なものが追加されることなります。

したがって、GRADEを使った診療ガイドラインにおいて下図(GRADE2版に記載)を提示したいならば、改変しないことを強く推奨します。


さて、ANCA診療ガイドライン2017では、この図をさまざまな解説を加えて”大きく改変”したものを提示しています(引用許可の問題のため、ここでは紹介できません)。

問題の部分は、エビデンスから推奨に関する以下です。

[1]エビデンスプロファイルを見直する必要がある点を説明している、中央のオレンジ色の上向き矢印が削除されています。
これは、ガイドラインパネルが、“EtDにおけるエビデンスの確実性は、SRのエビデンスの確実性と同じである”と誤認していることと共通していることですが、不適切です。

この矢印の意味はとても重要で、エビデンスプロファイルのデータのチェックとともに、SRチームが評価したエビデンスの確実性を、ガイドラインパネルが再評価することを意味しています。設定したCQにおけるPICO成分を参照する必要性(緑の上向き矢印)も必要になります。この点は、昨年もブログで解説しました(GRADE CPGの基本ー4.2:[CPG]エビデンスから推奨へ-②:エビデンスプロファイルの見直し

推奨作成のための、アウトカム全般にわたるエビデンスの確実性、特にimprecisionの評価や、利益と害のバランスなどを考えると容易に想像できることであり、GRADE関連論文を読むことをお勧めします。

次は、もっと深刻な問題です。

 

2017年2月13日 Posted by aihara

ANCA関連血管炎診療ガイドライン2017の問題 -(1)

  

ANCA関連血管炎診療ガイドライン2017に関する個人的な評価を紹介します。なお、内容の一部は、外部評価委員として当初コメントしたもので反映されなかった点を含めています。
あくまで、GRADE methodologistとしての意見です。

■GRADE診療ガイドラインらしくない:
診療ガイドラインの全体内容として、GRADEを使って作成したとは思えない印象を与えるものです(なぜかというと、全180pのうち、GRADE関連はたったの30P程度(全体の1/6)です。残りの大部分は、疾患に関する教科書的な記述と背景疑問に相当する内容や、他の診療ガイドライン(一部はMinds2007類似システムを使用)などに関係した内容です。

外部評価時に指摘した内容は修正されず、むしろGRADEとして混乱をまねくものが追加されています(以下、および後述)。

■ベースラインリスク:
ベースラインリスクに関しては、“比較する両群のデータが記載された論文を採用“としていますが、誤っています。予後に関するGRADE論文、あるいは本ブログの”予後”に関する記事を読んでいただきたいです。

■エビデンスの確実性(質)の提示:
GRADEエビデンスプロファイルが書籍に記載されていないため、推奨事項の作成に寄与した重大なアウトカムがどのようなものか、各アウトカムに関するエビデンスの確実性がどのように評価されたのかがとてもわかりにくいです(わざわざオンライン資料を閲覧する必要がある)。

■アウトカムに関して:
介入そのものの”害”がエビデンスプロファイルに記載されておらず、利益と害のバランスをどのように評価したのか不明です(例、ステロイド、シクロホスファミド、MTX, RTX、アザチオプリンなど)。SRでは許されても、診療ガイドラインでは許されない大原則です。

JCE GRADEシリーズより:
“Many, if not most, systematic reviews fail to address some key outcomes, particularly harms, associated with an intervention. Systematic reviews may even focus on a single outcome.
Guideline panels do not have this luxury.”

■推奨におよぼすアウトカム:
前述のように、推奨事項が、どのようなアウトカムを採用して判断されたのかが非常に理解しにくいです。また、推奨作成における”閾値”をどのように設定したのか(web資料にも)記載がなく、読者は推奨決定プロセスを理解できない。

“EtDにおけるエビデンスの確実性は、SRのエビデンスの確実性と同じである”と記載しているが、そうとは限らない。

■GRADEシステムの図1:
本図については、外部評価の際に使用しないことを強く推奨しましたが、さらなる改悪を加えて提示される結果となっています(次回解説)。

 

2017年2月10日 Posted by aihara

ANCA関連血管炎診療ガイドライン2017

  

ANCA関連血管炎診療ガイドライン2017が出版されました。

外部評価委員として参加して、送付した意見のほとんどをはじめて反映していただくことができました。
診療ガイドライン作成チームにとって、数か月での対応は、大変だったことと思います。ごくろうさまでした。

全体としては、よくできている内容といえます。
ただし、修正すべきとして指摘したにもかからず、無視された内容については、今後解説したいと思います。

厚労省科学研究費補助金難治性疾患等政策研究事業による、3つの研究班が合同して作成したもので、
「本診療ガイドラインのおもな利用者は、わが国のAAV患者とその家族、医療スタッフ、わが国でAAV診療に携わる基幹病院の非専門医(内科、皮膚科、耳鼻科など)を含む医師である」とあります。

ならば、ぜひフリー公開してほしいです。

 

2017年2月9日 Posted by aihara

ネットワークメタアナリシスは増加している

  

ネットワークメタアナリシス(NMA)は、年間100件ほどのペースで増加しています。

pubmedでNMA、あるいはmixed treatment comparisonを検索したのが以下です。

検索式:Search (((network meta-analysis[Title/Abstract]) OR mixed treatment comparison[Title/Abstract]) OR indirect treatment comparison[Title/Abstract]) OR multiple treatment comparison analysis[Title/Abstract]

利用している手法は、ベイジアンNMAが圧倒的に多い。

NMA急増の事実は、診療ガイドラインを作成する側にとっては、間接エビデンスを無視できない状況になってきているということにつながるものです。


 

2017年2月7日 Posted by aihara

国内のGRADE診療ガイドライン:先天性胆道拡張症ガイドライン

  

Minds2014(実質的にはGRADE)を使った診療ガイドライン、先天性胆道拡張症ガイドラインのダイジェスト版が日本消化器学会雑誌113(2016.12月)に紹介されました。

厚労省科学研究補助金事業「小児期発祥の稀少難治性肝胆膵疾患における包括的な診断・治療ガイドライン作成に関する研究」(仁尾班)による、”先天性胆道拡張症ガイドライン”です。

批判的吟味の結果が以下です。

少なくとも、税金を使って作成しているならば、フリーで公開してほしい。

このような診療ガイドランを作成してはいけないと、GRADE working groupは何度も警告しています。

■他のGRADE*を利用した国内の診療ガイドラインは、
http://www.grade-jpn.com/jp_grade/japanese_grade_cpg.htmlを参照ください。

 

  • カレンダー

    2024年12月
     1
    2345678
    9101112131415
    16171819202122
    23242526272829
    3031  
  • 最近の投稿

  • アーカイブ