Category: ‘GRADEシステム’

ランダム化試験と非ランダム化試験の統合は・・・

2020年12月4日 Posted by admin

偶然にも、複数のガイドライン作成パネルから、RCTとNRSの統合に関する問い合わせをいただいた。

両者の統合には保守的なスタンスが良いかと思いますが・・・
以下を参照してほしいです。

EBMを超えてー診療ガイドラインの動向や新しい潮流(GRADE)を中心として_相原.pdf



 

複数のアウトカムにわたるNet Effect Estimateと各アウトカムの価値観(相対的重要性)

2020年11月30日 Posted by admin

同じような質問がでてくる可能性があるので、(FBFのボードでコメントした内容を、健忘録として)自分のブログでも紹介しておきます。

■質問:
推奨を作成する際の、複数の重大なアウトカムの価値観(相対的重要性)を2倍、あるいは5倍など設定するのは・・・なにか決まりがあるのか?

■回答:GRADEの基本方針:

(臨床的に常識な範囲であれば)、1.5倍でも、3倍でも、5倍でもなんでもよいのです。 (^^;
要するに、重大なアウトカムのいくつかで効果の方向が異なる場合の感度分析ですから。

単純に2~3個のアウトカム(推奨に必要なcritical outcomes)があると想定して考えると以下です
(注:マイナスがbeneficialで、プラスはharmfulです)。

 
●シナリオ1:死亡が20増加(= +20)/1000、臨床回復30増加 (= -30)/1000
この場合、差し引き(単純計算では)20-30 = -10/1000 で、net benefitとなり「推奨する」の方向性です。
ところが、死亡アウトカムの価値観を臨床回復の2倍と想定すると、20*2 – 30 = +10/1000で、net harmとなり「推奨しない」の方向性となります。
また、1.5倍ならば正味の利益はゼロとなります。

なので、シナリオ1の場合は、価値観の設定でアウトカム全般にわたる効果は非常にばらつき、「推奨はできないだろう、そもそも死亡が20/1000自体から推奨できないだろう」、というような判断過程と思います。

 
●シナリオ2:死亡が10増加(= +10)、臨床回復100増加(= -100)/1000、重篤有害事象 50減(= -50)/1000
この場合、単純計算では、10-100-50 = -140/1000で、net benefitです。
死亡アウトカムを5倍の価値観と設定しても、この正味の利益効果は相殺されません。
なので、シナリオ2の場合には、「推奨」となります。

この辺の価値観としての効用値設定は、パネルが判断することになりますが・・・・

以上は、単純な点推定値の差し引きで、全般の点推定値を表示しましたが、実際は、アウトカム全般の95%CIを参考にnet estimateの不確実性(特にimprecision)を評価することになります。

***********
このような内容は、なんどかブログでも説明していますし、GRADE3版の2章でも同じようなことを記載しています。
http://aihara.la.coocan.jp/?p=11165
http://aihara.la.coocan.jp/?p=11045

ブログで説明している以下のサイトでも算出可能です。
https://bmjopen.bmj.com/content/9/6/e027445.long

 

オーストラリアのガイドラインの方法論的研究:GRADE使用はまれで、適用方法は一貫していなかった

2020年11月21日 Posted by aihara

Guidelines rarely used GRADE and applied methods inconsistently: a methodological study of Australian guidelines
DOI:https://doi.org/10.1016/j.jclinepi.2020.10.017

論文の内容は以下です。
******************************
豪州では国家保健医療研究評議会が診療ガイドライン作成においてGRADEを使用することを提唱している。

●目的:オーストラリアの診療ガイドライン(2011~2018)についてGRADEが適切に利用されているかを調査した。

●方法:GRADEプロセスをGRADE compliance score(7つの基準とサブ項目:全17項目)で評価し、AGREE-IIのドメイン3(Rigour of development Score:Scaled Domain Score [SDS])と比較した。

●結果:51の異なる団体からの240件のガイドラインが見つかり、無効リンクのために取得できなかった106件を除いた134件からデータを抽出した。
134件中15件(11%)のみが、GRADE手法に従ったと報告していた。
15件のガイドラインにおけるGRADE compliance scoreは、4件が80%以上であったが、0%から100%までばらついていた(表A)。

GRADE compliance score(中央値59%)とSDS(中央値71%)には正の相関があった(r=0.86, R2=0.75)
GRADE が低いドメインとしては、アウトカムに関する患者にとっての重要性ランキングの不明瞭さ、エビデンスの確実性評価の方法論的情報の欠如などであった。

●結論:
オーストラリアのガイドラインではGRADEの使用が増加しているが、さらなる取り込みと適用のための戦略が必要である。

*************
注1.GRADE_compliance_score.pdf

注2.この研究はCOVID-19パンデミックの前に開始されたため、その後典型的なガイドライン作成プロセスに大幅な変更が加えられました。例、MAGICapp living guidelines

 

多重比較のエビデンスのためのGRADEpro GDT

2020年11月6日 Posted by aihara

いまやGRADEガイドライン作成には必須のツールであるGRADEpro GDThttps://gradepro.org/)ですが、
複数の介入における多重比較(multiple comparison:MC)エビデンスに関するEvidence-to Decisionテーブルの作成がGRADEpro GDTで可能となっています。

Using GRADE Evidence to Decision Frameworks to Choose from Multiple Interventions
Piggott T, Brozek J, Nowak A, et al. JCE https://www.jclinepi.com/article/S0895-4356(20)31155-0/fulltext

[Method]
Using examples from the World Health Organization, the European Commission and a professional society, we developed a flexible approach to developing recommendations when a multiple-intervention comparison (MC) is needed using the Grading of Recommendations Assessment, Development and Evaluation (GRADE) Evidence to Decisions (EtD) frameworks. We iteratively refined this approach through user-testing and then included a module in GRADE’s official software GRADEpro to test the approach in two real and one theoretical guideline recommendations.

***************
●論文では、問題の優先付けから、推奨作成、普及までの7つのステップを記載しています。
NMAの多重比較におけるGRADEpro GDTの入力では、EtD基準について「決断における相対的重要性」を評価することが特徴となっています。
そのための評価に5段階のリッカート型モデルを採用しています。

(オリジナルの画像そのままですが、画像が鮮明ではないです)

●利用例として、完全なEtDフレームワークはオンラインで入手できます。
https://www.who.int/tb/areas-of-work/preventive-care/infection-control/Annexes4_5-GRADEtables.pdf

●ただし、GRADEpro Multicomparisonの利用は有料で、グループライセンスの場合、1つのプロジェクト(15人のパネル)で$2,000のライセンス契約が必要です。
個人ライセンスでも、月$29.00です。
https://gradepro.org/licences/

高額ですね。。。

 

GRADE ADOLOPMENT採用のガイドライン

2020年11月4日 Posted by aihara

2017年4月にも一度紹介しているGRADE ADOLOPMEMTを、診療ガイドラインのためのGRADEシステム3版から再度紹介します。

*******************************************
ガイドライン作成グループには、通常、次の3つの選択肢がある。(1)既存の推奨事項をそのまま採用する(adoption)。(2)既存の推奨をそれぞれの状況に適用させる(adaptation)。(3)利用可能な統合エビデンスに基づいて新たに推奨を作成する(de novo creation)。信頼できるガイドライン作成のためのこのアプローチを、GRADE working group は、GRADE-ADOLOPMENTとよんでいる(図1.2-4)。新たなシステマティックレビューが必要な場合は、完全システマティックレビューを実施するための、(時間と資金などの)十分な資源があるかを判断・評価する。
*******************************************

注:書籍の図1.2-4には誤植がありましたので、修正したものが上記です。
中外医学社:正誤表

 

■GRADE ADOLOPMENTを採用した有名な診療ガイドラインが、Holger SchunemannらそうそうたるGRADE memberが主導したサウジアラビア(KSA)の診療ガイドラインです。
https://www.moh.gov.sa/en/Pages/default.aspx

このガイドライン作成は2013年7月にスタートし、wave1で80の推奨事項を含む10件のガイドラインを完了するのに必要な有効時間は約4か月で、wave2で146の推奨事項を含む12件のガイドラインを完了するには約6か月でした。ガイドラインのトピックは幅広く、プライマリケア、専門家ケア、集団スクリーニング、血液学、循環器、神経学、腎臓学、母体胎児医学、アレルギー、がんなどの分野をカバーしていました。
22件のガイドラインにおける226の推奨事項に関しては、多くが、adaptationとde novo creationでした。

日本集中治療医学会と日本救急医学会によるCOVID-19のリビングガイドライン(2020)も、GRADE ADLOPMENTを採用しています。
http://aihara.la.coocan.jp/?p=11052

 

複数のアウトカムにわたるNet Effect Estimateの不精確さのGRADE評価

2020年10月24日 Posted by admin

COVID-19感染症に対する薬物治療としては、日本版敗血症診療ガイドライン2020(J-SSCG2020)特別編 COVID-19薬物療法に関するRapid/Living recommendationsが公開されています(私もタスクフォースとして参加しています)。2020/10/24時点:version 2

さて、診療ガイドラインにおける原則は、(システマティックレビューとは対照的に)絶対効果を使って、複数のアウトカムにわたる効果推定値の不精確さを評価する必要があります。相対効果(オッズ比、リスク比など)を使った指標では推奨の判断は不可能であり、なぜならば、相対効果はベースラインリスクによって大きく効果の大きさが変化するわけです。

では、複数のアウトカムにわたる正味の効果推定値(net effect estimate)に関する不精確さ(imprecision)をGRADE評価する手法を、COVID-19の具体例を使って説明したいと思います。

例:重症COVID-19に対するトシリズマブ治療

上記のガイドライン(CQ5)では、総死亡アウトカムにおけるリスク差は20 more(-94~216 more)、臨床回復では -32(104~-204)、重篤有害作用では -35(-115~69)でした(マイナスが有益効果)。

これまでも本ブログで紹介しているEBISCO Health DynaMed Plusで、アウトカムごとにこれらのデータを入力して得られた結果が以下です。


A:各アウトカムの価値観を同等する場合:(効用値*=1)

*Importance Multiplierを1として計算すると、Net Effect Estimateは、-47/1000 (95%CI:-296~202)で、点推定値は有益ですが、95%信頼区間は非常に幅広く、推奨の閾値(有益、有害)をまたいでいるようです。
Alper論文の基準では、net benefitのimprecisionに関して、”Possible net benefit (Low certainty[-2])”となります。

3個のアウトカムにわたるエビデンス総体のnet benefitのフォレストプロットも同時に表示可能です。


B:死亡アウトカムの価値観をほかのアウトカムの2倍とすると(死亡に関して効用値*=2)

*Importance Multiplier=2(死亡)の場合、Net Effect Estimateは、-27/1000 (95%CI:-393~339)で、点推定値はより小さくなり、95%信頼区間もさら幅広くなっています。この場合も”Possible net benefit”です。

**********************************
このように、診療ガイドラインにおける「推奨の強さと方向」を決定するためには、各アウトカムに関する絶対効果を利用する必要があり、重大なアウトカム全般にわたる利益と害のバランスとしてのNet Effect Estimateの評価が必要となります。さらにはアウトカムの重みを考慮した感度分析を実施する場合もあります。

注:この純利益に関する評価は、Net Effect Estimateの”不精確さ”に関するもので、最終的には他のGRADEドメインを参考にしてエビデンスの確実性を等級付けします。

 
問題は、推奨のための利益および害の”閾値”をどのように設定するかということです。
CPGにおける決断閾値(2017/1/26の記事)参照

トシリズマブ例では・・・

J-SSCG2020:特別編COVID-19薬物療法タスクフォース・パネルは、EtDテーブルにおいて「我々は、死亡アウトカムにおく相対的な価値観を、他のアウトカムとの相対的な効用として、1~5倍の幅で感度分析した」と明記しています。

すなわち、上記のシナリオ(A)の場合、以下のように、95%信頼区間が利益と害の推奨閾値を大きく跨いでいることから、点推定値の方向とは関係なく、「推奨なし(no recommendation)」と判定したわけです。
ちなみに、感度分析において、死亡アウトカムの効用値を3~4倍にすると点推定値が逆方向(プラス)になり、つまり「Net harm」の領域に入ってきます。

この図では、利益と害に関して、閾値(灰色の領域)をRD=25/1000として示していますが、単にNet Effect Estimateの理解のための参考として提示しただけです(COVID-19薬物療法ガイドラインパネルのコンセンサスではありません)

 

国内のCOVID-19の迅速リビングガイドライン

2020年9月9日 Posted by aihara

日本集中治療医学会と日本救急医学会によるCOVID-19のリビングガイドライン

日本版敗血症診療ガイドライン2020(J-SSCG2020)特別編 COVID-19薬物療法に関するRapid/Living recommendations の公開
https://www.jaam.jp/info/2020/info-20200831.html?fbclid=IwAR0qjh6BzHP_bMg2d3eHBGcHwWwKP8mCZK5TjiZGNYtVP9OM9keIwNyvKi4

私もコアメンバーとして参加し、およそ3か月で完成した迅速/リビングガイドラインです。(^^)

当然ながら、GRADE準拠で、
診療ガイドラインのためのGRADEシステム3版」(相原、2018)に基づいています。

このガイドラインには以下のようないくつかの特徴があります。

———————————————————
1.計画から推奨作成まで3か月で完了した。
2.GRADE ADOLOPMENTに従い、既存のリビングSR/NMAを利用した迅速ガイドライン作成を目標としたが、直接エビデンスを採用した。
3.迅速ガイドライン作成手法は、GIN-McMaster Guideline Development Checklist extension for rapid recommendationsに準拠している。
4.GRADEにおける「エビデンスから推奨」の決断基準は、基本的にGRADEコンテキスト化アプローチに従っている。
5.最終的には、「GRADEを利用したという最低限の6基準」を満たしている。
6.リビングガイドラインであり、今後は、基本的に1~2週間で、推奨やエビデンス総体の確実性を更新していく。
———————————————————

COVID-19薬物療法に関するRapid/Living recommendations(ver.1.0.0)に携わる機会をいただき、感謝しております。

 

正味の効果推定値の精確さに関する確実性(GRADE)・・・

2020年8月28日 Posted by aihara

Defining certainty of net benefit: a GRADE concept paper
https://bmjopen.bmj.com/content/9/6/e027445.long

診療ガイドライン作成における「判断の閾値・範囲」のGRADE概念の必要性が理解されない。。。。(Classification of precision of net effect estimate)

 

 
各パターンの意味が以下です。

●Classification of precision of net effect estimate

Pattern of net effect estimate Classification Precision of net effect estimate is
consistent with …
Entire CI is beneficial Net benefit High certainty of net benefit
Point estimate is beneficial, lower bound of CI is harmful and point estimate has larger absolute value than lower bound of CI Likely net benefit Moderate certainty of net benefit
Point estimate is beneficial, lower bound of CI is harmful and point estimate has smaller absolute value than lower bound of CI Possible net benefit Low certainty of net benefit
Point estimate is close to zero, wide CI* Possibly no net benefit or harm Very low certainty of net benefit or harm
Point estimate is close to zero, narrow CI* Net benefit or harm likely near zero Moderate certainty of little net benefit or harm
Point estimate is harmful, upper bound of CI is beneficial and point estimate has smaller absolute value than upper bound of CI Possible net harm Low certainty of net harm
Point estimate is harmful, upper bound of CI is beneficial and point estimate has larger absolute value than upper bound of CI Likely net harm Moderate certainty of net harm
Entire CI is harmful Net harm High certainty of net harm

*Differentiation of wide versus narrow CIs could be based on a threshold of minimally important differences.   

 

COVID-19に関するLiving NMA:利益と害のバランス-2 (BMJ)

2020年8月11日 Posted by aihara

Drug treatments for covid-19: living systematic review and network meta-analysis
BMJ 2020;370:m2980

NMAに関しては、さまざまなエビデンスの提供方法があります。
このレビューでは、ベイジアンNMAを利用し、さらにGRADEシステムにより確実性や効果の大きさを示し、MAGICappのliving guidelineと連動しています。

 
●通常のnetwork plotは付録にありますが、本レビューでは独自のプロットを作成しています。
つまり、標準・通常ケアと比較してどの介入がどれほどbeneficialなのかを提示し、さらに介入部にカーソルを当てることで、相対効果やリスク差、エビデンスの確実性が表示されます。

 
●通常のNMAリーグテーブルは付録にありますが、本レビューでは独自のテーブルを作成しています。
つまり、介入の種類とアウトカムと、ベースラインリスクと絶対リスク、GRADEの確実性評価と、利益と害のバランスの全てを提示しています。

*************
本BMJ論文には、Gordon H Guyatt、Reem A Mustafa, Per O Vandvik, Romina Brignardello-Petersenなど、多くのGRADEメンバーが参加しています。
今後、このような分かりやすいエビデンスの提示が普及すると思われます。

COVID-19に関するNMAエビデンスの確実性-3:フォレストプロット

2020年7月31日 Posted by aihara

前回のつづきです。
Stataを利用して作成したCOVID-19ネットワークメタアナリシス(総死亡アウトカム)のフォレストプロットが以下です。

効果指標は相対リスクで、点推定値と95%信頼区間(95%予測区間)を表示しました。

 
一見してわかるように、(Tocilizumab以外は)標準治療(通常治療、プラセボ)と比較して統計的有意差がなく、各治療間における差もないです。
ちなみに、このTocilizumabの効果は非ランダム化研究(n=3)の非常に低のエビデンスです。

今後、質の高い研究が増えて、COVID-19の予後を大きく変える治療が登場することを期待しましょう。

もっとも、死亡以外の、臨床的回復や有害作用などを考慮すると、「推奨する」、「推奨しない」というものがあり得ます。
**********************
例:
推奨する方向:インターフェロンβ1a、デキサメサゾン(中等症~重症例)
推奨しない方向:レムデシベル(中等症~重症例)

  
注:入力データの正確性は保証できませんので、各自で確認お願いします。新規エビデンスが登場し、時間的な余裕があれば、本データを更新していきます。