内科医のエビデンスに基づく医療情報

Category: ‘GRADEシステム’

複数のアウトカムにわたるNet Effect Estimateの不精確さのGRADE評価

2020年10月24日 Posted by admin

COVID-19感染症に対する薬物治療としては、日本版敗血症診療ガイドライン2020（J-SSCG2020）特別編　COVID-19薬物療法に関するRapid/Living recommendationsが公開されています（私もタスクフォースとして参加しています）。2022/07/15時点：version 5.0

注：ver 5.0（MAGIC living guideline）公開に伴って、従来のブログ内容を更新しました。
***********
さて、診療ガイドラインにおけるアウトカム全般にわたるエビデンスの評価の原則は、（システマティックレビューとは対照的に）絶対効果を使って、複数のアウトカムにわたる効果推定値の不確実性（imprecision）を評価する必要があります。相対効果（オッズ比、リスク比など）を使った指標では推奨の強さの判断は不可能であり、なぜならば、相対効果はベースラインリスクによって大きく効果の大きさが変化するわけです。

今回、複数のアウトカムにわたる「正味の効果推定値（net effect estimate）」に関する不精確さ（imprecision）をGRADE評価する手法を、COVID-19の具体例を使って説明したいと思います。

●例：重症COVID-19に対するトシリズマブ治療

上記のガイドライン（CQ5）では、総死亡アウトカムにおけるリスク差は-16(-59～+35）、臨床回復なし（望ましくないアウトカムの方向性として）では -15(-69～+38）、重篤有害作用では -35(-38～+6）でした（マイナスが有益効果）。また、各アウトカムのエビデンスの確実性は、RoB、imprecisionなどのために、それぞれ「低」、「低」「中」でした。

これまでも本ブログで紹介しているEBISCO Health DynaMed Plusで、アウトカムごとにこれらのデータを入力して得られた結果が以下です。

A:各アウトカムの価値観を同等する場合：（効用値*＝１）

*Importance Multiplierを１として計算すると、Net Effect Estimateは、-49/1000 (95%CI:-124～26）で、点推定値は有益（-49）ですが、95%信頼区間上限は有害（26）で、点推定値の絶対値（49）はその上限（26）よりも大きく、不精確さの評価は1段階等級ダウンとなります。したがって、Alper論文の基準では、net benefitのimprecisionに関して、”Likely net benefit (Moderate certainty[-1])”です。

3個のアウトカムにわたるエビデンス総体のnet benefitのフォレストプロットも同時に表示可能です。

B:死亡アウトカムの価値観をほかのアウトカムの2倍とすると（死亡に関して効用値*＝2）

*Importance Multiplier=2（死亡）の場合、Net Effect Estimateは、-65/1000 (95%CI:-175～45）で、点推定値はより大きくなり、95%信頼区間もさらに幅広くなっていますが、この場合も”Likely net benefit (-1)”です。

**********************************
このように、診療ガイドラインにおける「推奨の強さと方向」を決定するためには、各アウトカムに関する絶対効果を利用する必要があり、重大なアウトカム全般にわたる利益と害のバランスとしてのNet Effect Estimateのimprecision評価が必要となります。さらにはアウトカムの重みを考慮した感度分析を実施する場合もあります。

注：この純利益に関する評価は、Net Effect Estimateの”不精確さ”に関するもので、最終的には他のGRADEドメインを参考にしてエビデンスの確実性を等級付けします。

問題は、推奨のための利益および害の”閾値”をどのように設定するかということです。
CPGにおける決断閾値（2017/1/26の記事）参照

●トシリズマブ例では・・・

J-SSCG2020：特別編COVID-19薬物療法タスクフォース・パネルは、EtDテーブルにおいて「我々は、死亡アウトカムにおく相対的な価値観を、他のアウトカムとの相対的な効用として、2倍の幅で感度分析した」と明記しています。

すなわち、上記のシナリオ（B）の場合に相当しますが、Net effect estimateの大きさや方向は変わりません。最終的なエビデンスの確実性（CoE）は、RoBと合わせて「Low」となることから、（EtD評価要因のその他を無視すると）”弱い推奨”となります（パネルの判断は違ってくる可能性もありますが）。

この図では、利益と害に関して、”小さな効果”の閾値（灰色の領域）をRD=30/1000として示しています。

Read full article |コメントを受け付けていません
Tags: No tags

国内のCOVID-19の迅速リビングガイドライン

2020年9月9日 Posted by aihara

日本集中治療医学会と日本救急医学会によるCOVID-19のリビングガイドライン

日本版敗血症診療ガイドライン2020（J-SSCG2020）特別編　COVID-19薬物療法に関するRapid/Living recommendations の公開
https://www.jaam.jp/info/2020/info-20200831.html?fbclid=IwAR0qjh6BzHP_bMg2d3eHBGcHwWwKP8mCZK5TjiZGNYtVP9OM9keIwNyvKi4

私もコアメンバーとして参加し、およそ３か月で完成した迅速/リビングガイドラインです。(^^)

当然ながら、GRADE準拠で、
診療ガイドラインのためのGRADEシステム３版」（相原、2018）に基づいています。

このガイドラインには以下のようないくつかの特徴があります。

———————————————————
1.計画から推奨作成まで３か月で完了した。
2.GRADE ADOLOPMENTに従い、既存のリビングSR/NMAを利用した迅速ガイドライン作成を目標としたが、直接エビデンスを採用した。
3.迅速ガイドライン作成手法は、GIN-McMaster Guideline Development Checklist extension for rapid recommendationsに準拠している。
4.GRADEにおける「エビデンスから推奨」の決断基準は、基本的にGRADEコンテキスト化アプローチに従っている。
5.最終的には、「GRADEを利用したという最低限の６基準」を満たしている。
6.リビングガイドラインであり、今後は、基本的に１～２週間で、推奨やエビデンス総体の確実性を更新していく。
———————————————————

COVID-19薬物療法に関するRapid/Living recommendations（ver.1.0.0）に携わる機会をいただき、感謝しております。

Read full article |コメントを受け付けていません
Tags: No tags

正味の効果推定値の精確さに関する確実性（GRADE）・・・

2020年8月28日 Posted by aihara

Defining certainty of net benefit: a GRADE concept paper
https://bmjopen.bmj.com/content/9/6/e027445.long

診療ガイドライン作成における「判断の閾値・範囲」のGRADE概念の必要性が理解されない。。。。（Classification of precision of net effect estimate）

●Classification of precision of net effect estimate

正味の効果の閾値として「ゼロ効果」を設定したというシナリオでの、各パターンの意味が以下です。

Pattern of net effect estimate	Classification	Precision of net effect estimate is consistent with …
Entire CI is beneficial	Net benefit	High certainty of net benefit
Point estimate is beneficial, lower bound of CI is harmful and point estimate has larger absolute value than lower bound of CI	Likely net benefit	Moderate certainty of net benefit
Point estimate is beneficial, lower bound of CI is harmful and point estimate has smaller absolute value than lower bound of CI	Possible net benefit	Low certainty of net benefit
Point estimate is close to zero, wide CI*	Possibly no net benefit or harm	Very low certainty of net benefit or harm
Point estimate is close to zero, narrow CI*	Net benefit or harm likely near zero	Moderate certainty of little net benefit or harm
Point estimate is harmful, upper bound of CI is beneficial and point estimate has smaller absolute value than upper bound of CI	Possible net harm	Low certainty of net harm
Point estimate is harmful, upper bound of CI is beneficial and point estimate has larger absolute value than upper bound of CI	Likely net harm	Moderate certainty of net harm
Entire CI is harmful	Net harm	High certainty of net harm

*Differentiation of wide versus narrow CIs could be based on a threshold of minimally important differences.　　　

Read full article |コメントを受け付けていません
Tags: No tags

COVID-19に関するLiving NMA：利益と害のバランス-2 (BMJ)

2020年8月11日 Posted by aihara

Drug treatments for covid-19: living systematic review and network meta-analysis
BMJ 2020;370:m2980

NMAに関しては、さまざまなエビデンスの提供方法があります。
このレビューでは、ベイジアンNMAを利用し、さらにGRADEシステムにより確実性や効果の大きさを示し、MAGICappのliving guidelineと連動しています。

●通常のnetwork plotは付録にありますが、本レビューでは独自のプロットを作成しています。
つまり、標準・通常ケアと比較してどの介入がどれほどbeneficialなのかを提示し、さらに介入部にカーソルを当てることで、相対効果やリスク差、エビデンスの確実性が表示されます。

●通常のNMAリーグテーブルは付録にありますが、本レビューでは独自のテーブルを作成しています。
つまり、介入の種類とアウトカムと、ベースラインリスクと絶対リスク、GRADEの確実性評価と、利益と害のバランスの全てを提示しています。

*************
本BMJ論文には、Gordon H Guyatt、Reem A Mustafa, Per O Vandvik, Romina Brignardello-Petersenなど、多くのGRADEメンバーが参加しています。
今後、このような分かりやすいエビデンスの提示が普及すると思われます。

Read full article |コメントを受け付けていません
Tags: No tags

COVID-19に関するNMAエビデンスの確実性-3：フォレストプロット

2020年7月31日 Posted by aihara

前回のつづきです。
Stataを利用して作成したCOVID-19ネットワークメタアナリシス（総死亡アウトカム）のフォレストプロットが以下です。

効果指標は相対リスクで、点推定値と95%信頼区間（95%予測区間）を表示しました。

一見してわかるように、（Tocilizumab以外は）標準治療（通常治療、プラセボ）と比較して統計的有意差がなく、各治療間における差もないです。
ちなみに、このTocilizumabの効果は非ランダム化研究(n=3)の非常に低のエビデンスです。

今後、質の高い研究が増えて、COVID-19の予後を大きく変える治療が登場することを期待しましょう。

もっとも、死亡以外の、臨床的回復や有害作用などを考慮すると、「推奨する」、「推奨しない」というものがあり得ます。
**********************
例：
推奨する方向：インターフェロンβ1a、デキサメサゾン（中等症～重症例）
推奨しない方向：レムデシベル（中等症～重症例）

　　
注：入力データの正確性は保証できませんので、各自で確認お願いします。新規エビデンスが登場し、時間的な余裕があれば、本データを更新していきます。

Read full article |コメントを受け付けていません
Tags: No tags

COVID-19に関するNMAエビデンスの確実性-2：CINeMA

2020年7月30日 Posted by aihara

NMAにおける比較が非常に多いので、オンラインツールのCINeMA(Confidence in Network Meta-Analysis)を使用します。

あらかじめエクセルを使って作成したcsvファイルを作成しておきます（データ様式はlongでもwideでもかまわいません）。
具体的な操作は、同サイトにあるCINeMAマニュアルを参照ください。降圧薬のサンプルファイルEliott2007もあります）

以下が、CINeMAによる評価ステップです。

■データのインポート:

■configuration:

Network map（前回のStata出力結果）に相当します。

■1.Within study bias (RoB contribution):

複数の研究の場合、寄与率を参考にしたRoBが表示されます。
研究数が25件で、その多くはhgh, moderate concerであることがわかります。
個々の比較におけるRoBは、Major concern, Some concern, No concernの3段階で評価できますが、画面下側にある「Selected rule」ボタンからのプルダウンで”Average”を選択すると、全比較に関する判定が自動表示されます。

■2.Reporting bias:

現バージョンのCINeMAには、研究全体における出版バイアスを自動表示する機能はありません。Stataを使ったファンネルプロットが以下です。（ここでは、All unsuspectedを選択）

■3.Indirectness:

25件中、high～moderate concernのものが17件あります。
個々の比較におけるindirectnessは、Major concern, Some concern, No concernの3段階で評価できますが、画面下側にある「Selected rule」ボタンからのプルダウンで”Average”を選択すると、全比較に関する判定が自動表示されます。

■4.Imprecision:

imprecisionの評価においては、臨床的に意味のある効果サイズを指定することができます（ここでは、死亡のオッズ比 0.8を設定）。

個々の比較のNMA効果推定値が95%信頼区間と95%予測区間とともに表示されます。不精確さに関しても、Major concern, Some concern, No concernの3段階で個別に評価できますが、画面下側にある「Selected rule」ボタンからのプルダウンで”Average”を選択すると、全比較に関する判定が自動表示されます。

■5.Heterogenity:

研究間の異質性（非一貫性）を、RoB、Indirectness, Imprecisionと同じように、Major concern, Some concern, No concernの3段階で評価できます。

■6.Incoherence:

直接比較と間接比較に関する非整合性評価です。比較に関して、直接エビデンスのみのものや、間接エビデンス、あるいはNMAエビデンスが表示されます。global incosistencyも表示されます。

■Confidence rating (GRADE)

各比較に関するGRADEによるエビデンスの確実性の等級を4段階（High, Moderate, Low, Very low）のいずれかで評価します（自動表示ではなく、自身で評価）。

■League table:

最初のタブの「Configuration」の最下段には、”Downloag League table”ボタンがあり、クリックすると、エクセル（csv形式で）ダウンロードされます。
また、各評価ステップの結果も、エキスポート（csv形式）できますが、単体では白黒なので判定しにくいです。

以上、interval plot, ranking, cluster ranking plot,などの機能はまだできていないようです。
次回、Stataを使ってinterval plotを作成してみます。
それにしても、Very low certaintyのエビデンスが多いです。

今回使用したデータは、こちら→CiNEMA _all-cause mortality_0729

Read full article |コメントを受け付けていません
Tags: No tags

COVID-19に関するNMAエビデンスの確実性-1：Living Network Meta-Analysis

2020年7月29日 Posted by aihara

COVID-19治療についてはさまざまな薬物がPrePrint Journalなどで次々と報告されています。それらの多くのエビデンスは、バイアスのリスクや非直接性、あるいは不精確なものですが、最新のエビデンス発表とともに、迅速に、Living SRあるいはLiving recommendationsにおいて組み入れられています。

例：
*********************************
●Australian guidelines for the clinical care of people with COVID-19(“MAGICapp”)
●Living evidence Repository for COVID-19（“Epistamonikos”）
●Infectious Diseases Society of America Guidelines on the Treatment and Management of Patients with COVID-19（“IDSA”)
●Living mapping and living systematic review of Covid-19 studies(“covid-nma.com”)
*********************************

でもって、質の高いエビデンスがない現時点で、結局のところ、なにが効果的なのか（死亡減少や臨床的回復、WHOのCOS改善、有害作用など）という疑問が出てきます。

そこで、上記のLiving SR/guidelinesにおいて取り上げられているエビデンスを使って、ネットワークメタアナリシス（NMA）で効果を比較し、NMAエビデンスの確実性をGRADE評価してみたいと思います。NMAエビデンスの確実性は、Salantiらの手法に従い、Stata16および、オンラインツールのCINeMA(Confidence in Network Meta-Analysis)を使用します。

Salantiらの手法は、診療ガイドラインのためのGRADEシステム3版に解説し、オンライン資料もあります。

■目的：COVID-19患者における治療（対　総死亡）を比較する（Living NMA @7/29）

P:COVID-19患者（主に中等症～重症）
I：以下の17種類の治療
C: Network comparison
O：All-cause mortallity (7-28d)

**************
■Network mapが以下です(Stata 16)

次は、各比較に関して、NMA効果推定値とともに、NMAエビデンスのバイアスのリスク（RoB）、非直接性、不精確さ、非一貫性、非整合性などを評価してみます。
現状のCINeMAではフォレストプロットやファンネルプロットを表示できないのでStataを併用します。

注：
１．Living NMAなので、現在の効果推定値やエビデンスの確実性は今後変更される確率が高いです。
２．この解析における限界は、ベースラインリスクや死亡アウトカムの評価時期が不均一であること、標準治療が全く同一ではないことなどがあります。

Read full article |コメントを受け付けていません
Tags: No tags

MAGICapp: COVID-19

2020年7月11日 Posted by aihara

EBMの原則に従って、エビデンスの確実性のGRADE評価と、価値観と意向を考慮したevidence to decisionフレームワークを利用して推奨を作成しているのが、MAGICappです。

●Australian guidelines for the clinical care of people with COVID-19では、MAGICappを使用して、COVID-19に関する49件の推奨事項、39件のCQが発表されています。（7/9時点）

●MAGIC Evidence Ecosystem Foundationでは、
抗ウイルス薬に関する推奨は、Weak recommendation againstです。
ステロイドは、ARDSを伴う場合は、weak recommendationで、ARDSを伴わない場合はWeak recommendation againstです。

Read full article |コメントを受け付けていません
Tags: No tags

COVID-19におけるサージカルマスクの効果は、OR 0.15

2020年6月5日 Posted by aihara

https://guidelines.gradepro.org/profile/nOTqhwE_ICk
Should medical or surgical masks vs. no masks be used for people possibly exposed to patients infected or suspected to be infected with COVID-19?
Holger Schünemann, Derek Chu, Elie Akl

10件の観察研究からのエビデンスでは、感染予防効果＝OR 0.15 (0.07-0.34)、
143 fewer/1000 (107 fewer -159 fewer)である。

GRADEの等級アップドメインの一つ「効果が大きい」により、エビデンスの確実性は「低」から「中」にグレードアップしない。
理由は深刻ではないものの some RoBがあるから。

超密の感染はリスク場所（50%が感染）でも、介入の絶対効果としては、370 fewer/1000 (246-435)!

サブ解析では・・・・
In a subgroup analysis comparing N95 Masks with surgical or similar masks (e.g. 12 or 16 layer cotton), the association was more pronounced in the N95 group (OR 0.04, 95% CI 0.00 – 0.030) compared to the other masks (OR 0.33, 95% CI 0.17 – 0.61); p for interaction 0.095.

最終的には、条件付き推奨/低のエビデンス（GRADE 2C）

************
このサブ解析結果からは、アベノマスク（ガーゼ5層？）には効果がないかもしれない

Read full article |コメントを受け付けていません
Tags: No tags

COVID-19におけるソーシャルディスタンス（最低1m以上）はオッズ比 0.18

2020年6月5日 Posted by aihara

GRADE Working Group(Holger Schünemann, Derek Chu, Elie Akl)のGRADEpro GDTにおける推奨の紹介です (Tentative recommendation for demo purposes only)。
https://guidelines.gradepro.org/profile/Kkb3MK4eM7Q

COVID-19におけるソーシャルディスタンス（最低1m以上）による感染予防効果は、観察研究によるエビデンスで、OR 0.18(0.09-0.38)。
GRADEの等級アップドメインの一つ「効果が大きい」により、エビデンスの確実性は「低」から「中」にグレードアップ。