Category: ‘GRADEシステム’

完全コンテキスト化アプローチ_6:正味の効果推定値の精確さを分類する(step_4)

2021年5月19日 Posted by admin

ステップ3における重要性調整効果推定値のそれぞれを併合して得られた正味の効果推定値(Net effect estimate)は34.5 (95%CI: -333 ~ +402)でした。
 
つまり、”点推定値は有害で、信頼区間の下限は有益で、その絶対値は正味の効果の点推定値よりも大きい”ことから、95%CIからは”possible net harm”と判定されました(図1)。オンラインツールでも同じ結果です。
 
■図1.重要性調整効果推定値を併合したアウトカム全般の正味の効果

しかし、前回述べたように、この分類は、”正味の利益の閾値=0”として利益と害のバランスを評価していることに注意が必要です。
 
つまり、ガイドラインパネルは、推奨のための「最小重要差(MID)」(場合によっては「中程度の大きさ」、「大きい効果」など)を判断するための「閾値」を設定して判断する必要があります(図2)。

 
■図2.正味の効果推定値の精確さの分類


(以前の表にMIDを追加:http://aihara.la.coocan.jp/?p=11045

 

●ステップ4:シナリオにおける正味の効果推定値の精確さの分類

シナリオの場合に、全原因死亡が参照単位であることからMID=2%(20/1000)と設定したと仮定すると、正味の効果推定値の点推定値(3.5%)は小さな効果の閾値(2%)に近く、信頼区間は大きな利益と大きな害(ここでは閾値=10%と設定したと仮定)の閾値を超えています(図3)。

つまりエビデンスの精確さ(precision)の評価は、“possible no net effect or harm” (-3) で、very low certaintyに3段階等級ダウンとなります。

しかし現実的なパネルの判断としては、”非常に低い確実性”と判断するパネルもあれば、”95%CIが非常に広く真の効果がどこにあるのか全くわからないので、確実性のレベルを評価する意味が全くない”と判断するパネルもあり得ます。

 
■図3.利益と害の閾値をMID=2%、大きな効果の閾値を10%

 
以上から、Alper論文に準じたGRADE評価としては以下の2つの可能性となります。

(1)正味の効果推定値の精確さは、非常に低い確実性(very low certainty)である。

(2)CIの広さから、確実性を評価することは無意味である(評価を放棄)。


 
***つづき(step5:「重大なアウトカムの効果推定値の確実性を検討」)

 

完全コンテキスト化アプローチ_5:重要性調整効果推定値の併合(step_3)

2021年5月12日 Posted by admin

各効果推定値にその相対的重要性の乗数を掛けたものを、重要性調整効果推定値(Importance-adjusted effect estimate)と呼びます。

●ステップ3:重要性調整効果推定値の併合

シナリオの重要性調整効果推定値(患者1000人あたりの全原因死亡に相当するイベントの単位で)は、以下のようになります。

アウトカム 患者1000人あたりの
絶対効果推定値(95%CI)
不効用値(*) 患者1000人あたりの全原因死亡相当イベント単位による
絶対効果推定値(95%CI)
全原因死亡 -12 (-107 ~ +93) 1 -12 (-107 ~ +93)
局所再発 -17 (-109 ~ +98) 0.5 -8.5 (-54.5 ~ +49)
遠隔転移 -9 (-35 ~ +28) 0.5 -4.5 (-17.5 ~+14)
重篤有害事象 +85 (+2 ~ +1000) 0.7 +59.5 (+1.4 ~ +700)

*:不効用値は、「重大アウトカムの相対的重要性(step2)」を参照。

 
重要性調整効果推定値のそれぞれの点推定値を合計すると、正味の効果の点推定値(Net effect estimate)が得られます(この例では34.5)。

統計式(原著論文に記載)により、正味の効果の95%信頼区間も計算が可能で、本シナリオの場合の正味の効果は、34.5 (95%CI: -333 ~ +402)です。
これは「不精確さの分類」としては、possible net harmですが、論文にも記載されているように、”正味の利益の閾値=0”として利益と害のバランスを評価していることに注意が必要です。

また、正味の効果推定値のオンライン計算ツールも利用可能です。
https://computablepublishing.us/net-effect/

 

●Net effect estimateのオンライン計算

4つのアウトカムの絶対効果推定値を95%CIを含めて入力し、相対的重要性を乗じて得られた正味の効果の推定値が図1です。
表中の”Importance Multiplier”が相対的重要性で、この推定値に関しても、”possible net harm”と表示されています。

図1:


 

●フォレストプロット

4つのアウトカムの重要性調整絶対効果と、併合した正味の効果推定値をプロットしたものが以下の図2です。

図2

 
***つづき(step4)
次回は、アウトカム全般にわたる正味の効果推定値の精確さ(precision)の分類です。

 

完全コンテキスト化アプローチ_4:重大アウトカムの相対的重要性(step_2)

2021年5月10日 Posted by aihara

シナリオでは、ステップ1において、併合される重大アウトカムを4つ決定しました。
各アウトカムに関するエビデンスとその確実性を要約したものが以下です。

アウトカム 患者1000人あたりの絶対効果推定値(95%CI) 効果推定値の確実性(*)
全原因死亡 -12 (-107 ~ +93) Low (RoB, indirectness)
局所再発 -17 (-109 ~ +98) Low (RoB, indirectness)
遠隔転移 -9 (-35 ~ +28) Low (RoB, indirectness)
重篤有害事象 +59.5 (+1.4 ~ +700) Low (RoB, indirectness)

*: エビデンスの確実性について不精確さのための評価(等級ダウン)はしない。
注1.オリジナルのエビデンスプロファイル:evidence_profile_0501.pdf
注2.重篤有害事象アウトカムのフォレストプロット:forest_plot_SAE.jpg

 

●ステップ2:各アウトカムの相対的重要性の決定

完全コンテキスト化アプローチ(Alper)の第2ステップは、各アウトカムの相対的重要性を決定することです。
(Alper BS, Oettgen P, Kunnamo I, et al. Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. doi:10.1136/bmjopen-2018-027445

切除可能な口腔がん患者の術前化学療法による全原因死亡を参照単位(=1)として、他の3つのアウトカムの重要性を決定します(ここでは、アウトカムの重要性の質的9ポイント評価のスコアは関係ないです)。
相対的重要性は以前は「価値観や選好(values and preferences)」と呼ばれていたものですが、例えば決断分析の効用値のように、不効用値(disutility = [1- utility])を使って、相対的重要性に変換できます。

相対的重要性や不効用値に関する詳細は、原著あるいは、GRADE3版の2.4-2.1(p146)を参照ください。
(当然ながら、GRADE3版で解説している完全コンテキスト化アプローチは、今回説明している手法とは異なっています。Hultcrantz M, et al. The GRADE Working Group clarifies the construct of certainty of evidence. JCE 2017)

相対的重要性は、単一の変換係数(例、0.7)というよりは、”ある範囲”というのが現実的ですが、この点は後のステップ6で感度分析することになります。
いずれにしても、このステップ2(各アウトカムの相対的重要性の決定)では利害関係者の意見を反映させる必要があります。

全原因死亡が参照単位とみなされ、例えば、患者が局所再発と遠隔転移の重要性を全原因死亡の0.5倍、重篤有害事象を0.7倍重要視するという仮定から始めてみます。

 
***つづき(step3)

 

完全コンテキスト化アプローチ_3:併合アウトカムの決定(step_1)

2021年4月30日 Posted by aihara

パネルがピックアップしたアウトカムは8個ですが、診療ガイドラインに必要なアウトカムの選択(完全コンテキスト化アプローチ)には3つの原則があります。

  1. 推奨の決定に重大なもの(7~9点)を選出する(非重要[1~3点]、重要だが非重大[4~6点]は除外)。
  2. 統合のためのアウトカムは互いに独立していて重複しない(相関なし)(効果推定値の重複カウントを回避するためであり、例えば、複合アウトカム[総死亡]とそのアウトカムの一つ以上のコンポーネント[心血管死]の両方を含めることはできない。しかし、現実的には完全に独立していることは稀であり、そのために感度分析を実施)。
  3. アウトカムの数は最大7個まで選出する(重大性の低いアウトカムによる正味の効果推定値への希釈的影響を回避するため)。

 

●ステップ1:シナリオにおける併合アウトカムの決定

# アウトカム 重要性(1-9) 独立性 アウトカムの採用
1 全原因死亡(OS) critical (9) 独立している 採用
2 口腔癌そのものによる死亡 critical (8) 独立していない 採用しない
3 局所再発 critical (8) 独立している 採用
4 遠隔転移 critical (8) 独立している 採用
5 発熱性好中球減少 (*) important(4) 独立していない 採用せず
6 QOL (¶) important (6) 独立していない 採用せず
7 重篤有害事象(Grade 3以上)(†) critical (8) 独立している 採用
8 口腔機能 important (6) 独立していない 採用せず

*:好中球減少による発熱は重篤有害事象と重複する可能性が高い。
¶:他のアウトカムと重複する可能性が高い。また、反応が異なる個々の患者への影響を考慮すると、連続スコアの平均を使用すると誤解を招く可能性がある。
†:重篤有害事象(SAE)の定義は、非血液毒性のGrade(3-5)である。重篤有害事象に関しては、勝俣範之先生にも教えていただきました。最近では、QOLや、患者自身が判定するPRO CTCAEもあるということです。

 
以上から最終的に、利害関係者を含めたパネルは併合するアウトカムとして、全原因死亡、局所再発、遠隔転移、重篤有害事象と決定したというシナリオとします。
これが、完全コンテキスト化アプローチの第一ステップです。

 
***つづき(step2)

 

完全コンテキスト化アプローチ_2:アウトカムの設定

2021年4月29日 Posted by admin

歯科口腔癌診療ガイドライングループのメンバーからの依頼利用例は、同ガイドライン2019版のSR1でした。
今後の解説では、一部のデータや解釈には仮想的なものが含まれていることに注意してください。

CQ:切除可能で外科治療を予定している症例に対して術前療法を行なうべきか?
> P:切除可能な口腔がん患者
> I:術前化学療法あり
> C:術前化学療法なし
> O:(術後アウトカムとして): 

歯科口腔癌診療ガイドライン2019の本CQに関するPICの適格基準の詳細を私は知りませんので、具体的には以下のものとして進めます。
***********************
P=切除可能な進展例(Stage2~3以上)
I=術前化学療法は、シスプラチンやフルオロウラシルを中心とした多剤併用療法で、2~3サイクル
C=術前化学療法なし
***********************

アウトカム(O)について、パネル(SRチームや利害関係者を含む)は、最初に以下のように8個選出したと仮定します。

1.全原因死亡(OS)
2.口腔癌そのものによる死亡
3.局所再発
4.遠隔転移
5.発熱性好中球減少
6.QOL
7.重篤有害事象(Grade 3以上)
8.口腔機能

@@@.これらのアウトカム(#7以外)は口腔癌診療ガイドライン2019に記載されているものから選択しました(相原)

***つづき

 

完全コンテキスト化アプローチ_1:CQの定式化

2021年4月27日 Posted by aihara

歯科口腔癌診療ガイドライングループのメンバーからGRADEの「完全コンテキスト化アプローチ」を解説してほしいという依頼がありましたので、口腔がん診療ガイドライン2019の例(一部のデータは仮想)を使って、推奨作成までのプロセスを解説したいと思います。

CQ:切除可能で外科治療を予定している患者に対して術前療法を行なうべきか?

P:切除可能な口腔がん患者
I:術前化学療法あり
C:術前化学療法なし
O:(術後アウトカムとして):

本CQに関して、アウトカムを設定することになります。

 

***つづき

 

ランダム化試験と非ランダム化試験の統合は・・・

2020年12月4日 Posted by admin

偶然にも、複数のガイドライン作成パネルから、RCTとNRSの統合に関する問い合わせをいただいた。

両者の統合には保守的なスタンスが良いかと思いますが・・・
以下を参照してほしいです。

EBMを超えてー診療ガイドラインの動向や新しい潮流(GRADE)を中心として_相原.pdf



 

複数のアウトカムにわたるNet Effect Estimateと各アウトカムの価値観(相対的重要性)

2020年11月30日 Posted by admin

同じような質問がでてくる可能性があるので、(FBFのボードでコメントした内容を、健忘録として)自分のブログでも紹介しておきます。

■質問:
推奨を作成する際の、複数の重大なアウトカムの価値観(相対的重要性)を2倍、あるいは5倍など設定するのは・・・なにか決まりがあるのか?

■回答:GRADEの基本方針:

(臨床的に常識な範囲であれば)、1.5倍でも、3倍でも、5倍でもなんでもよいのです。 (^^;
要するに、重大なアウトカムのいくつかで効果の方向が異なる場合の感度分析ですから。

単純に2~3個のアウトカム(推奨に必要なcritical outcomes)があると想定して考えると以下です
(注:マイナスがbeneficialで、プラスはharmfulです)。

 
●シナリオ1:死亡が20増加(= +20)/1000、臨床回復30増加 (= -30)/1000
この場合、差し引き(単純計算では)20-30 = -10/1000 で、net benefitとなり「推奨する」の方向性です。
ところが、死亡アウトカムの価値観を臨床回復の2倍と想定すると、20*2 – 30 = +10/1000で、net harmとなり「推奨しない」の方向性となります。
また、1.5倍ならば正味の利益はゼロとなります。

なので、シナリオ1の場合は、価値観の設定でアウトカム全般にわたる効果は非常にばらつき、「推奨はできないだろう、そもそも死亡が20/1000自体から推奨できないだろう」、というような判断過程と思います。

 
●シナリオ2:死亡が10増加(= +10)、臨床回復100増加(= -100)/1000、重篤有害事象 50減(= -50)/1000
この場合、単純計算では、10-100-50 = -140/1000で、net benefitです。
死亡アウトカムを5倍の価値観と設定しても、この正味の利益効果は相殺されません。
なので、シナリオ2の場合には、「推奨」となります。

この辺の価値観としての効用値設定は、パネルが判断することになりますが・・・・

以上は、単純な点推定値の差し引きで、全般の点推定値を表示しましたが、実際は、アウトカム全般の95%CIを参考にnet estimateの不確実性(特にimprecision)を評価することになります。

***********
このような内容は、なんどかブログでも説明していますし、GRADE3版の2章でも同じようなことを記載しています。
http://aihara.la.coocan.jp/?p=11165
http://aihara.la.coocan.jp/?p=11045

ブログで説明している以下のサイトでも算出可能です。
https://bmjopen.bmj.com/content/9/6/e027445.long

 

オーストラリアのガイドラインの方法論的研究:GRADE使用はまれで、適用方法は一貫していなかった

2020年11月21日 Posted by aihara

Guidelines rarely used GRADE and applied methods inconsistently: a methodological study of Australian guidelines
DOI:https://doi.org/10.1016/j.jclinepi.2020.10.017

論文の内容は以下です。
******************************
豪州では国家保健医療研究評議会が診療ガイドライン作成においてGRADEを使用することを提唱している。

●目的:オーストラリアの診療ガイドライン(2011~2018)についてGRADEが適切に利用されているかを調査した。

●方法:GRADEプロセスをGRADE compliance score(7つの基準とサブ項目:全17項目)で評価し、AGREE-IIのドメイン3(Rigour of development Score:Scaled Domain Score [SDS])と比較した。

●結果:51の異なる団体からの240件のガイドラインが見つかり、無効リンクのために取得できなかった106件を除いた134件からデータを抽出した。
134件中15件(11%)のみが、GRADE手法に従ったと報告していた。
15件のガイドラインにおけるGRADE compliance scoreは、4件が80%以上であったが、0%から100%までばらついていた(表A)。

GRADE compliance score(中央値59%)とSDS(中央値71%)には正の相関があった(r=0.86, R2=0.75)
GRADE が低いドメインとしては、アウトカムに関する患者にとっての重要性ランキングの不明瞭さ、エビデンスの確実性評価の方法論的情報の欠如などであった。

●結論:
オーストラリアのガイドラインではGRADEの使用が増加しているが、さらなる取り込みと適用のための戦略が必要である。

*************
注1.GRADE_compliance_score.pdf

注2.この研究はCOVID-19パンデミックの前に開始されたため、その後典型的なガイドライン作成プロセスに大幅な変更が加えられました。例、MAGICapp living guidelines

 

多重比較のエビデンスのためのGRADEpro GDT

2020年11月6日 Posted by aihara

いまやGRADEガイドライン作成には必須のツールであるGRADEpro GDThttps://gradepro.org/)ですが、
複数の介入における多重比較(multiple comparison:MC)エビデンスに関するEvidence-to Decisionテーブルの作成がGRADEpro GDTで可能となっています。

Using GRADE Evidence to Decision Frameworks to Choose from Multiple Interventions
Piggott T, Brozek J, Nowak A, et al. JCE https://www.jclinepi.com/article/S0895-4356(20)31155-0/fulltext

[Method]
Using examples from the World Health Organization, the European Commission and a professional society, we developed a flexible approach to developing recommendations when a multiple-intervention comparison (MC) is needed using the Grading of Recommendations Assessment, Development and Evaluation (GRADE) Evidence to Decisions (EtD) frameworks. We iteratively refined this approach through user-testing and then included a module in GRADE’s official software GRADEpro to test the approach in two real and one theoretical guideline recommendations.

***************
●論文では、問題の優先付けから、推奨作成、普及までの7つのステップを記載しています。
NMAの多重比較におけるGRADEpro GDTの入力では、EtD基準について「決断における相対的重要性」を評価することが特徴となっています。
そのための評価に5段階のリッカート型モデルを採用しています。

(オリジナルの画像そのままですが、画像が鮮明ではないです)

●利用例として、完全なEtDフレームワークはオンラインで入手できます。
https://www.who.int/tb/areas-of-work/preventive-care/infection-control/Annexes4_5-GRADEtables.pdf

●ただし、GRADEpro Multicomparisonの利用は有料で、グループライセンスの場合、1つのプロジェクト(15人のパネル)で$2,000のライセンス契約が必要です。
個人ライセンスでも、月$29.00です。
https://gradepro.org/licences/

高額ですね。。。

 

  • カレンダー

    2024年6月
     12
    3456789
    10111213141516
    17181920212223
    24252627282930
  • 最近の投稿

  • アーカイブ