Category: ‘GRADEシステム’

オーストラリアのガイドラインの方法論的研究:GRADE使用はまれで、適用方法は一貫していなかった

2020年11月21日 Posted by aihara

Guidelines rarely used GRADE and applied methods inconsistently: a methodological study of Australian guidelines
DOI:https://doi.org/10.1016/j.jclinepi.2020.10.017

論文の内容は以下です。
******************************
豪州では国家保健医療研究評議会が診療ガイドライン作成においてGRADEを使用することを提唱している。

●目的:オーストラリアの診療ガイドライン(2011~2018)についてGRADEが適切に利用されているかを調査した。

●方法:GRADEプロセスをGRADE compliance score(7つの基準とサブ項目:全17項目)で評価し、AGREE-IIのドメイン3(Rigour of development Score:Scaled Domain Score [SDS])と比較した。

●結果:51の異なる団体からの240件のガイドラインが見つかり、無効リンクのために取得できなかった106件を除いた134件からデータを抽出した。
134件中15件(11%)のみが、GRADE手法に従ったと報告していた。
15件のガイドラインにおけるGRADE compliance scoreは、4件が80%以上であったが、0%から100%までばらついていた(表A)。

GRADE compliance score(中央値59%)とSDS(中央値71%)には正の相関があった(r=0.86, R2=0.75)
GRADE が低いドメインとしては、アウトカムに関する患者にとっての重要性ランキングの不明瞭さ、エビデンスの確実性評価の方法論的情報の欠如などであった。

●結論:
オーストラリアのガイドラインではGRADEの使用が増加しているが、さらなる取り込みと適用のための戦略が必要である。

*************
注1.GRADE_compliance_score.pdf

注2.この研究はCOVID-19パンデミックの前に開始されたため、その後典型的なガイドライン作成プロセスに大幅な変更が加えられました。例、MAGICapp living guidelines

 

多重比較のエビデンスのためのGRADEpro GDT

2020年11月6日 Posted by aihara

いまやGRADEガイドライン作成には必須のツールであるGRADEpro GDThttps://gradepro.org/)ですが、
複数の介入における多重比較(multiple comparison:MC)エビデンスに関するEvidence-to Decisionテーブルの作成がGRADEpro GDTで可能となっています。

Using GRADE Evidence to Decision Frameworks to Choose from Multiple Interventions
Piggott T, Brozek J, Nowak A, et al. JCE https://www.jclinepi.com/article/S0895-4356(20)31155-0/fulltext

[Method]
Using examples from the World Health Organization, the European Commission and a professional society, we developed a flexible approach to developing recommendations when a multiple-intervention comparison (MC) is needed using the Grading of Recommendations Assessment, Development and Evaluation (GRADE) Evidence to Decisions (EtD) frameworks. We iteratively refined this approach through user-testing and then included a module in GRADE’s official software GRADEpro to test the approach in two real and one theoretical guideline recommendations.

***************
●論文では、問題の優先付けから、推奨作成、普及までの7つのステップを記載しています。
NMAの多重比較におけるGRADEpro GDTの入力では、EtD基準について「決断における相対的重要性」を評価することが特徴となっています。
そのための評価に5段階のリッカート型モデルを採用しています。

(オリジナルの画像そのままですが、画像が鮮明ではないです)

●利用例として、完全なEtDフレームワークはオンラインで入手できます。
https://www.who.int/tb/areas-of-work/preventive-care/infection-control/Annexes4_5-GRADEtables.pdf

●ただし、GRADEpro Multicomparisonの利用は有料で、グループライセンスの場合、1つのプロジェクト(15人のパネル)で$2,000のライセンス契約が必要です。
個人ライセンスでも、月$29.00です。
https://gradepro.org/licences/

高額ですね。。。

 

GRADE ADOLOPMENT採用のガイドライン

2020年11月4日 Posted by aihara

2017年4月にも一度紹介しているGRADE ADOLOPMEMTを、診療ガイドラインのためのGRADEシステム3版から再度紹介します。

*******************************************
ガイドライン作成グループには、通常、次の3つの選択肢がある。(1)既存の推奨事項をそのまま採用する(adoption)。(2)既存の推奨をそれぞれの状況に適用させる(adaptation)。(3)利用可能な統合エビデンスに基づいて新たに推奨を作成する(de novo creation)。信頼できるガイドライン作成のためのこのアプローチを、GRADE working group は、GRADE-ADOLOPMENTとよんでいる(図1.2-4)。新たなシステマティックレビューが必要な場合は、完全システマティックレビューを実施するための、(時間と資金などの)十分な資源があるかを判断・評価する。
*******************************************

注:書籍の図1.2-4には誤植がありましたので、修正したものが上記です。
中外医学社:正誤表

 

■GRADE ADOLOPMENTを採用した有名な診療ガイドラインが、Holger SchunemannらそうそうたるGRADE memberが主導したサウジアラビア(KSA)の診療ガイドラインです。
https://www.moh.gov.sa/en/Pages/default.aspx

このガイドライン作成は2013年7月にスタートし、wave1で80の推奨事項を含む10件のガイドラインを完了するのに必要な有効時間は約4か月で、wave2で146の推奨事項を含む12件のガイドラインを完了するには約6か月でした。ガイドラインのトピックは幅広く、プライマリケア、専門家ケア、集団スクリーニング、血液学、循環器、神経学、腎臓学、母体胎児医学、アレルギー、がんなどの分野をカバーしていました。
22件のガイドラインにおける226の推奨事項に関しては、多くが、adaptationとde novo creationでした。

日本集中治療医学会と日本救急医学会によるCOVID-19のリビングガイドライン(2020)も、GRADE ADLOPMENTを採用しています。
http://aihara.la.coocan.jp/?p=11052

 

複数のアウトカムにわたるNet Effect Estimateの不精確さのGRADE評価

2020年10月24日 Posted by admin

COVID-19感染症に対する薬物治療としては、日本版敗血症診療ガイドライン2020(J-SSCG2020)特別編 COVID-19薬物療法に関するRapid/Living recommendationsが公開されています(私もタスクフォースとして参加しています)。2020/10/24時点:version 2

さて、診療ガイドラインにおける原則は、(システマティックレビューとは対照的に)絶対効果を使って、複数のアウトカムにわたる効果推定値の不精確さを評価する必要があります。相対効果(オッズ比、リスク比など)を使った指標では推奨の判断は不可能であり、なぜならば、相対効果はベースラインリスクによって大きく効果の大きさが変化するわけです。

では、複数のアウトカムにわたる正味の効果推定値(net effect estimate)に関する不精確さ(imprecision)をGRADE評価する手法を、COVID-19の具体例を使って説明したいと思います。

例:重症COVID-19に対するトシリズマブ治療

上記のガイドライン(CQ5)では、総死亡アウトカムにおけるリスク差は20 more(-94~216 more)、臨床回復では -32(104~-204)、重篤有害作用では -35(-115~69)でした(マイナスが有益効果)。

これまでも本ブログで紹介しているEBISCO Health DynaMed Plusで、アウトカムごとにこれらのデータを入力して得られた結果が以下です。


A:各アウトカムの価値観を同等する場合:(効用値*=1)

*Importance Multiplierを1として計算すると、Net Effect Estimateは、-47/1000 (95%CI:-296~202)で、点推定値は有益ですが、95%信頼区間は非常に幅広く、推奨の閾値(有益、有害)をまたいでいるようです。
Alper論文の基準では、net benefitのimprecisionに関して、”Possible net benefit (Low certainty[-2])”となります。

3個のアウトカムにわたるエビデンス総体のnet benefitのフォレストプロットも同時に表示可能です。


B:死亡アウトカムの価値観をほかのアウトカムの2倍とすると(死亡に関して効用値*=2)

*Importance Multiplier=2(死亡)の場合、Net Effect Estimateは、-27/1000 (95%CI:-393~339)で、点推定値はより小さくなり、95%信頼区間もさら幅広くなっています。この場合も”Possible net benefit”です。

**********************************
このように、診療ガイドラインにおける「推奨の強さと方向」を決定するためには、各アウトカムに関する絶対効果を利用する必要があり、重大なアウトカム全般にわたる利益と害のバランスとしてのNet Effect Estimateの評価が必要となります。さらにはアウトカムの重みを考慮した感度分析を実施する場合もあります。

注:この純利益に関する評価は、Net Effect Estimateの”不精確さ”に関するもので、最終的には他のGRADEドメインを参考にしてエビデンスの確実性を等級付けします。

 
問題は、推奨のための利益および害の”閾値”をどのように設定するかということです。
CPGにおける決断閾値(2017/1/26の記事)参照

トシリズマブ例では・・・

J-SSCG2020:特別編COVID-19薬物療法タスクフォース・パネルは、EtDテーブルにおいて「我々は、死亡アウトカムにおく相対的な価値観を、他のアウトカムとの相対的な効用として、1~5倍の幅で感度分析した」と明記しています。

すなわち、上記のシナリオ(A)の場合、以下のように、95%信頼区間が利益と害の推奨閾値を大きく跨いでいることから、点推定値の方向とは関係なく、「推奨なし(no recommendation)」と判定したわけです。
ちなみに、感度分析において、死亡アウトカムの効用値を3~4倍にすると点推定値が逆方向(プラス)になり、つまり「Net harm」の領域に入ってきます。

この図では、利益と害に関して、閾値(灰色の領域)をRD=25/1000として示していますが、単にNet Effect Estimateの理解のための参考として提示しただけです(COVID-19薬物療法ガイドラインパネルのコンセンサスではありません)

 

国内のCOVID-19の迅速リビングガイドライン

2020年9月9日 Posted by aihara

日本集中治療医学会と日本救急医学会によるCOVID-19のリビングガイドライン

日本版敗血症診療ガイドライン2020(J-SSCG2020)特別編 COVID-19薬物療法に関するRapid/Living recommendations の公開
https://www.jaam.jp/info/2020/info-20200831.html?fbclid=IwAR0qjh6BzHP_bMg2d3eHBGcHwWwKP8mCZK5TjiZGNYtVP9OM9keIwNyvKi4

私もコアメンバーとして参加し、およそ3か月で完成した迅速/リビングガイドラインです。(^^)

当然ながら、GRADE準拠で、
診療ガイドラインのためのGRADEシステム3版」(相原、2018)に基づいています。

このガイドラインには以下のようないくつかの特徴があります。

———————————————————
1.計画から推奨作成まで3か月で完了した。
2.GRADE ADOLOPMENTに従い、既存のリビングSR/NMAを利用した迅速ガイドライン作成を目標としたが、直接エビデンスを採用した。
3.迅速ガイドライン作成手法は、GIN-McMaster Guideline Development Checklist extension for rapid recommendationsに準拠している。
4.GRADEにおける「エビデンスから推奨」の決断基準は、基本的にGRADEコンテキスト化アプローチに従っている。
5.最終的には、「GRADEを利用したという最低限の6基準」を満たしている。
6.リビングガイドラインであり、今後は、基本的に1~2週間で、推奨やエビデンス総体の確実性を更新していく。
———————————————————

COVID-19薬物療法に関するRapid/Living recommendations(ver.1.0.0)に携わる機会をいただき、感謝しております。

 

正味の効果推定値の精確さに関する確実性(GRADE)・・・

2020年8月28日 Posted by aihara

Defining certainty of net benefit: a GRADE concept paper
https://bmjopen.bmj.com/content/9/6/e027445.long

診療ガイドライン作成における「判断の閾値・範囲」のGRADE概念の必要性が理解されない。。。。(Classification of precision of net effect estimate)

 

 
各パターンの意味が以下です。

●Classification of precision of net effect estimate

Pattern of net effect estimate Classification Precision of net effect estimate is
consistent with …
Entire CI is beneficial Net benefit High certainty of net benefit
Point estimate is beneficial, lower bound of CI is harmful and point estimate has larger absolute value than lower bound of CI Likely net benefit Moderate certainty of net benefit
Point estimate is beneficial, lower bound of CI is harmful and point estimate has smaller absolute value than lower bound of CI Possible net benefit Low certainty of net benefit
Point estimate is close to zero, wide CI* Possibly no net benefit or harm Very low certainty of net benefit or harm
Point estimate is close to zero, narrow CI* Net benefit or harm likely near zero Moderate certainty of little net benefit or harm
Point estimate is harmful, upper bound of CI is beneficial and point estimate has smaller absolute value than upper bound of CI Possible net harm Low certainty of net harm
Point estimate is harmful, upper bound of CI is beneficial and point estimate has larger absolute value than upper bound of CI Likely net harm Moderate certainty of net harm
Entire CI is harmful Net harm High certainty of net harm

*Differentiation of wide versus narrow CIs could be based on a threshold of minimally important differences.   

 

COVID-19に関するLiving NMA:利益と害のバランス-2 (BMJ)

2020年8月11日 Posted by aihara

Drug treatments for covid-19: living systematic review and network meta-analysis
BMJ 2020;370:m2980

NMAに関しては、さまざまなエビデンスの提供方法があります。
このレビューでは、ベイジアンNMAを利用し、さらにGRADEシステムにより確実性や効果の大きさを示し、MAGICappのliving guidelineと連動しています。

 
●通常のnetwork plotは付録にありますが、本レビューでは独自のプロットを作成しています。
つまり、標準・通常ケアと比較してどの介入がどれほどbeneficialなのかを提示し、さらに介入部にカーソルを当てることで、相対効果やリスク差、エビデンスの確実性が表示されます。

 
●通常のNMAリーグテーブルは付録にありますが、本レビューでは独自のテーブルを作成しています。
つまり、介入の種類とアウトカムと、ベースラインリスクと絶対リスク、GRADEの確実性評価と、利益と害のバランスの全てを提示しています。

*************
本BMJ論文には、Gordon H Guyatt、Reem A Mustafa, Per O Vandvik, Romina Brignardello-Petersenなど、多くのGRADEメンバーが参加しています。
今後、このような分かりやすいエビデンスの提示が普及すると思われます。

COVID-19に関するNMAエビデンスの確実性-3:フォレストプロット

2020年7月31日 Posted by aihara

前回のつづきです。
Stataを利用して作成したCOVID-19ネットワークメタアナリシス(総死亡アウトカム)のフォレストプロットが以下です。

効果指標は相対リスクで、点推定値と95%信頼区間(95%予測区間)を表示しました。

 
一見してわかるように、(Tocilizumab以外は)標準治療(通常治療、プラセボ)と比較して統計的有意差がなく、各治療間における差もないです。
ちなみに、このTocilizumabの効果は非ランダム化研究(n=3)の非常に低のエビデンスです。

今後、質の高い研究が増えて、COVID-19の予後を大きく変える治療が登場することを期待しましょう。

もっとも、死亡以外の、臨床的回復や有害作用などを考慮すると、「推奨する」、「推奨しない」というものがあり得ます。
**********************
例:
推奨する方向:インターフェロンβ1a、デキサメサゾン(中等症~重症例)
推奨しない方向:レムデシベル(中等症~重症例)

  
注:入力データの正確性は保証できませんので、各自で確認お願いします。新規エビデンスが登場し、時間的な余裕があれば、本データを更新していきます。

 

COVID-19に関するNMAエビデンスの確実性-2:CINeMA

2020年7月30日 Posted by aihara

NMAにおける比較が非常に多いので、オンラインツールのCINeMA(Confidence in Network Meta-Analysis)を使用します。

あらかじめエクセルを使って作成したcsvファイルを作成しておきます(データ様式はlongでもwideでもかまわいません)。
具体的な操作は、同サイトにあるCINeMAマニュアルを参照ください。降圧薬のサンプルファイルEliott2007もあります)

以下が、CINeMAによる評価ステップです。

■データのインポート:

 

■configuration:

Network map(前回のStata出力結果)に相当します。

 

■1.Within study bias (RoB contribution):

複数の研究の場合、寄与率を参考にしたRoBが表示されます。
研究数が25件で、その多くはhgh, moderate concerであることがわかります。
個々の比較におけるRoBは、Major concern, Some concern, No concernの3段階で評価できますが、画面下側にある「Selected rule」ボタンからのプルダウンで”Average”を選択すると、全比較に関する判定が自動表示されます。

■2.Reporting bias:

現バージョンのCINeMAには、研究全体における出版バイアスを自動表示する機能はありません。Stataを使ったファンネルプロットが以下です。(ここでは、All unsuspectedを選択)



 

■3.Indirectness:

25件中、high~moderate concernのものが17件あります。
個々の比較におけるindirectnessは、Major concern, Some concern, No concernの3段階で評価できますが、画面下側にある「Selected rule」ボタンからのプルダウンで”Average”を選択すると、全比較に関する判定が自動表示されます。

 

■4.Imprecision:

imprecisionの評価においては、臨床的に意味のある効果サイズを指定することができます(ここでは、死亡のオッズ比 0.8を設定)。

個々の比較のNMA効果推定値が95%信頼区間と95%予測区間とともに表示されます。不精確さに関しても、Major concern, Some concern, No concernの3段階で個別に評価できますが、画面下側にある「Selected rule」ボタンからのプルダウンで”Average”を選択すると、全比較に関する判定が自動表示されます。

 

■5.Heterogenity:

研究間の異質性(非一貫性)を、RoB、Indirectness, Imprecisionと同じように、Major concern, Some concern, No concernの3段階で評価できます。

 

■6.Incoherence:

直接比較と間接比較に関する非整合性評価です。比較に関して、直接エビデンスのみのものや、間接エビデンス、あるいはNMAエビデンスが表示されます。global incosistencyも表示されます。

 

■Confidence rating (GRADE)

各比較に関するGRADEによるエビデンスの確実性の等級を4段階(High, Moderate, Low, Very low)のいずれかで評価します(自動表示ではなく、自身で評価)。

 

■League table:

最初のタブの「Configuration」の最下段には、”Downloag League table”ボタンがあり、クリックすると、エクセル(csv形式で)ダウンロードされます。
また、各評価ステップの結果も、エキスポート(csv形式)できますが、単体では白黒なので判定しにくいです。

 
以上、interval plot, ranking, cluster ranking plot,などの機能はまだできていないようです。
次回、Stataを使ってinterval plotを作成してみます。
それにしても、Very low certaintyのエビデンスが多いです。

今回使用したデータは、こちら→CiNEMA _all-cause mortality_0729

 

COVID-19に関するNMAエビデンスの確実性-1:Living Network Meta-Analysis

2020年7月29日 Posted by aihara

COVID-19治療についてはさまざまな薬物がPrePrint Journalなどで次々と報告されています。それらの多くのエビデンスは、バイアスのリスクや非直接性、あるいは不精確なものですが、最新のエビデンス発表とともに、迅速に、Living SRあるいはLiving recommendationsにおいて組み入れられています。

例:
*********************************
●Australian guidelines for the clinical care of people with COVID-19(“MAGICapp”)
●Living evidence Repository for COVID-19(“Epistamonikos”
●Infectious Diseases Society of America Guidelines on the Treatment and Management of Patients with COVID-19(“IDSA”)
●Living mapping and living systematic review of Covid-19 studies(“covid-nma.com”)
*********************************

でもって、質の高いエビデンスがない現時点で、結局のところ、なにが効果的なのか(死亡減少や臨床的回復、WHOのCOS改善、有害作用など)という疑問が出てきます。

そこで、上記のLiving SR/guidelinesにおいて取り上げられているエビデンスを使って、ネットワークメタアナリシス(NMA)で効果を比較し、NMAエビデンスの確実性をGRADE評価してみたいと思います。NMAエビデンスの確実性は、Salantiらの手法に従い、Stata16および、オンラインツールのCINeMA(Confidence in Network Meta-Analysis)を使用します。

Salantiらの手法は、診療ガイドラインのためのGRADEシステム3版に解説し、オンライン資料もあります。

■目的:COVID-19患者における治療(対 総死亡)を比較する(Living NMA @7/29)

P:COVID-19患者(主に中等症~重症)
I:以下の17種類の治療
C: Network comparison
O:All-cause mortallity (7-28d)

**************
■Network mapが以下です(Stata 16)


 

次は、各比較に関して、NMA効果推定値とともに、NMAエビデンスのバイアスのリスク(RoB)、非直接性、不精確さ、非一貫性、非整合性などを評価してみます。
現状のCINeMAではフォレストプロットやファンネルプロットを表示できないのでStataを併用します。

注:
1.Living NMAなので、現在の効果推定値やエビデンスの確実性は今後変更される確率が高いです。
2.この解析における限界は、ベースラインリスクや死亡アウトカムの評価時期が不均一であること、標準治療が全く同一ではないことなどがあります。