Category: ‘network meta-analysis’

スプレッドシートを活用したNMAエビデンスのGRADE評価

2023年6月30日 Posted by aihara

GRADE Working Groupからの論文です。
GRADEアプローチを使ったNMAエビデンスの確実性評価におけるいくつかのステップを、スプレッドシートを利用して効率化する方法を紹介しています。

A guide and pragmatic considerations for applying GRADE to network meta-analysis
(BMJ 2023;381:e074495)

Data Suppelement1のスプレッドシートには、これまでのGRADE_NMA評価のすべてが含まれており、例えば、imprecision(コンテキスト化アプローチ)評価のための「絶対値としての閾値」を入力するようになっています。

エビデンスの確実評価の基本手法はこれまで発表されてきたGRADE論文と同じで、以下のアルゴリズム(Supplement3)です。

*****************
NMAエビデンスの確実性評価は、GRADE Working GroupのGRADEと、SalantiらのGRADE(CINeMA)とは、異なっているので注意が必要ですが、いずれも、大変な作業です。

 

 

COVID-19に関するLiving NMA:利益と害のバランス-2 (BMJ)

2020年8月11日 Posted by aihara

Drug treatments for covid-19: living systematic review and network meta-analysis
BMJ 2020;370:m2980

NMAに関しては、さまざまなエビデンスの提供方法があります。
このレビューでは、ベイジアンNMAを利用し、さらにGRADEシステムにより確実性や効果の大きさを示し、MAGICappのliving guidelineと連動しています。

 
●通常のnetwork plotは付録にありますが、本レビューでは独自のプロットを作成しています。
つまり、標準・通常ケアと比較してどの介入がどれほどbeneficialなのかを提示し、さらに介入部にカーソルを当てることで、相対効果やリスク差、エビデンスの確実性が表示されます。

 
●通常のNMAリーグテーブルは付録にありますが、本レビューでは独自のテーブルを作成しています。
つまり、介入の種類とアウトカムと、ベースラインリスクと絶対リスク、GRADEの確実性評価と、利益と害のバランスの全てを提示しています。

*************
本BMJ論文には、Gordon H Guyatt、Reem A Mustafa, Per O Vandvik, Romina Brignardello-Petersenなど、多くのGRADEメンバーが参加しています。
今後、このような分かりやすいエビデンスの提示が普及すると思われます。

COVID-19に関するLiving NMA:利益と害のバランス

2020年8月8日 Posted by aihara

前回紹介したliving NMAの MetaInsight:COVID19では、ランキングのためのP-scoreやSUCRA(surface under the cumulative ranking area (SUCRA)が表示されません。

そこで、自分でベイジアンNMA(R/gemtc 0.8-6)を実施して、利益(all-cause mortality)と害(serious adverse event)の2つのアウトカムについて、それぞれの治療介入の効果を比較したクラスターランキングプロット(Stata)が以下です(採用エビデンスは、covid-nma.com, IDSAからのものです)。

 


 

X,Y軸は、2つのアウトカムのNMAによるSUCRA値です。標準・通常ケアの効果を赤線で示しており、各治療介入(19種類)がプロットされています。
オープンサークルはアウトカム報告がないエビデンスです。現在入手出来たエビデンスからは、縦横の赤線で区切られた4分割のうち、右上区画に表示されている治療(緑色フォント)が標準・通常ケアよりも総死亡が少なく、深刻な有害事象が少ないものです。逆に左下区画の薬物(赤色フォント)は害が少ないが利益も少ないという特徴があります。

****************************
Sutton AlexらのMetaInsight結果(プラセボと標準治療を別々にしていたり、異なる容量の介入を多重比較に組み入れており、より細かな比較)とは若干異なりますが、http://aihara.la.coocan.jp/?p=10962で紹介した効果の大きさやCINeMAによるエビデンスの確実性から、強く推奨するという治療はないことは明らかです。

今後登場するエビデンスによってこれらの結果は迅速に変わっていくと考えられます。

 

COVID-19に関するLiving Network Meta-Analysis:MetaInsight

2020年8月7日 Posted by aihara

同じようなことを考える人はいるもので、すでにLinivng NMA(COVID-19)を公開している英国チームがいました。
Alex Sutton教授(University of Leicester, UK)から教えていただきました。

このチームが開発したCOVID-19用の特別バージョンが MetaInsight:COVID19です(開発担当者:Rhiannon K Owen, Naomi Bradbury, Yiqiao Xin, Nicola Cooper, and Alex Sutton)。

基本的な解析ツールの名称は、MetaInsightというウェブツールで、頻度論派NMA(netmeta)とベイジアンNMA(gemtc)の両方で効果推定値を表示できます。
採用しているliving evidenceは、covid-nma.comです。

■All-cause mortality:
(ベイジアンNMA, RR)


 
■Serous adverse events:
(ベイジアンNMA, RR)

 
■Network map

**********
非常に優れたサイトです。
原著論文にも記載されているように、CINeMAを使ったエビデンスの確実性(GRADE)による感度分析を併用することも有用なのでしょう。

 

COVID-19に関するNMAエビデンスの確実性-3:フォレストプロット

2020年7月31日 Posted by aihara

前回のつづきです。
Stataを利用して作成したCOVID-19ネットワークメタアナリシス(総死亡アウトカム)のフォレストプロットが以下です。

効果指標は相対リスクで、点推定値と95%信頼区間(95%予測区間)を表示しました。

 
一見してわかるように、(Tocilizumab以外は)標準治療(通常治療、プラセボ)と比較して統計的有意差がなく、各治療間における差もないです。
ちなみに、このTocilizumabの効果は非ランダム化研究(n=3)の非常に低のエビデンスです。

今後、質の高い研究が増えて、COVID-19の予後を大きく変える治療が登場することを期待しましょう。

もっとも、死亡以外の、臨床的回復や有害作用などを考慮すると、「推奨する」、「推奨しない」というものがあり得ます。
**********************
例:
推奨する方向:インターフェロンβ1a、デキサメサゾン(中等症~重症例)
推奨しない方向:レムデシベル(中等症~重症例)

  
注:入力データの正確性は保証できませんので、各自で確認お願いします。新規エビデンスが登場し、時間的な余裕があれば、本データを更新していきます。

 

COVID-19に関するNMAエビデンスの確実性-1:Living Network Meta-Analysis

2020年7月29日 Posted by aihara

COVID-19治療についてはさまざまな薬物がPrePrint Journalなどで次々と報告されています。それらの多くのエビデンスは、バイアスのリスクや非直接性、あるいは不精確なものですが、最新のエビデンス発表とともに、迅速に、Living SRあるいはLiving recommendationsにおいて組み入れられています。

例:
*********************************
●Australian guidelines for the clinical care of people with COVID-19(“MAGICapp”)
●Living evidence Repository for COVID-19(“Epistamonikos”
●Infectious Diseases Society of America Guidelines on the Treatment and Management of Patients with COVID-19(“IDSA”)
●Living mapping and living systematic review of Covid-19 studies(“covid-nma.com”)
*********************************

でもって、質の高いエビデンスがない現時点で、結局のところ、なにが効果的なのか(死亡減少や臨床的回復、WHOのCOS改善、有害作用など)という疑問が出てきます。

そこで、上記のLiving SR/guidelinesにおいて取り上げられているエビデンスを使って、ネットワークメタアナリシス(NMA)で効果を比較し、NMAエビデンスの確実性をGRADE評価してみたいと思います。NMAエビデンスの確実性は、Salantiらの手法に従い、Stata16および、オンラインツールのCINeMA(Confidence in Network Meta-Analysis)を使用します。

Salantiらの手法は、診療ガイドラインのためのGRADEシステム3版に解説し、オンライン資料もあります。

■目的:COVID-19患者における治療(対 総死亡)を比較する(Living NMA @7/29)

P:COVID-19患者(主に中等症~重症)
I:以下の17種類の治療
C: Network comparison
O:All-cause mortallity (7-28d)

**************
■Network mapが以下です(Stata 16)


 

次は、各比較に関して、NMA効果推定値とともに、NMAエビデンスのバイアスのリスク(RoB)、非直接性、不精確さ、非一貫性、非整合性などを評価してみます。
現状のCINeMAではフォレストプロットやファンネルプロットを表示できないのでStataを併用します。

注:
1.Living NMAなので、現在の効果推定値やエビデンスの確実性は今後変更される確率が高いです。
2.この解析における限界は、ベースラインリスクや死亡アウトカムの評価時期が不均一であること、標準治療が全く同一ではないことなどがあります。

 

直接推定値と間接推定値、混合推定値はエビデンスの質を提示しなくてはならない

2015年6月2日 Posted by aihara

direct, indirect, mixed estimatesを提示する際にはその質を記載する必要があるが、以下に国内論文を2つ紹介する。

●例1
Miura T, et al. Comparative efficacy and tolerability of pharmacological treatments in the maintenance treatment of bipolar disorder: a systematic review and network meta-analysis. Lancet Psychiatry 2014;1: 351–59.

双極性障害治療に関するNMA論文です。採用しているエビデンスの質評価システムは、GRADEアプローチで、直接比較の異質性をheterogeneity、直接比較と間接比較の不一致をinconsistencyという定義で、Salantiらの基準に従ったものです。

本論文のsupplementary materialにGRADEの基本の5要因を使ったエビデンスの質評価が記載されています(下図)。

本論文は、国内で初めてGRADEを使ったNMA論文です。

QoE-nma

●例2
有効性評価に基づく胃がん検診ガイドライン2014ドラフト(「有効性評価に基づく胃がん検診ガイドライン」作成委員会)
本研究を単純にこれまで解説したNMA評価システムを使って評価することはできないが、多変量メタ・アナリシスを使っているので、その結果の部分をみてみます。

ヘリコバクター・ピロリ菌感染及び胃粘膜萎縮によるリスク層別化に関する研究が実施され、4 件のコホート研究がペプシノゲンとヘリコバクター・ピロリ抗体検査の併用法に基づいた4 群層別化モデルによるリスク層別化を検討し、多変量メタ・アナリシス(Multivariate meta-analysis)が実施され、直接推定値と、直接・間接推定値の混合推定値が提示されています。

しかし、直接推定値や間接推定値、混合推定値に関するエビデンスの質評価は全く記載されておらず、その確信性を判断することはできません。

本図に記載されているGroupA vs groupBの比較をみると、3件の研究からの直接推定値の異質性は中等度です(異質性の理由は記載されていない)。両者の推定値からindirect estimatesを計算すると、OR 4.26 (0.368-49.285)であり、つまり、間接エビデンスは、非常に不精確であると思われます。また、異なるカットオフに関する直接比較は、たった1件の観察研究です。統合推定値は直接推定値と近似していますが、著者らはいずれもエビデンスの質についても明確に記載していません。

control eventを0.002~ 0.003と考えると、NNHは154、103であり、1000人あたりとしては、7人~10人と判断できます。

abc_risk

NMAエビデンスのGRADE評価-(3): ランキング

2015年6月1日 Posted by aihara

●ランキングにおける問題
例えば、前回の例では、直接比較において、Ilizarov創外固定は、創外(External)固定と比較した場合に、再手術のオッズ比を60%減少します。

介入の全てについてランキング解析をすると、前回のランコグラムやSUCRAに示したように、Unreamed>Ilizarov>Ender>Reamed>External>Plateの順であった。しかし、たとえば、Ilizarov創外固定に関するbody of evidenceは、risk of biasが高い小規模試験1件だけ(総イベント数19件)である。つまり、当該治療のランキングの信頼性(credibility)は低いといえる。

sucra-0523

 

このように、ランコグラムやSUCRAからは、risk of bias、非一貫性、非直接性、出版バイアスなどに関する情報は一切得られない。しかし、対比較のRoB、非一貫性、不精確さなどからランキングに関するエビデンスの質は、”very low”である。

注3:今回の私の解析ではあえて、全ての介入に関するランキングを示したが、論文著者らは、”Very low”のエビデンスを除外して解析したランキングを報告している。そのランキングは、Unreamed>Reamed>External>Plateであり、SUCRAはそれぞれ、86.3%, 54.4%, 24.1%, 3.6%である(論文の表6)。

●ranked forest plot:
ランキングによる誤解に対しては、質の低いエビデンスを除外する方法の他には、”ranked forest plots”(*)を表示する方法もある。
(*)Furukawa TA. Case study in psychiatry. In: Biondi-Zoccai G, edit. Network meta-analysis -Evidence synthesis with mixed treatment comparison. NY: Nova Science publishers; 2014, 325-337.

今回のデータを使ったranked forest plotでは、たとえば、効果が最低の治療(plate)を基準した比較のフォレストプロットをみると、以下のように、各治療の比較や効果の程度を視覚的に理解しやすくなる。

ranked_forest

●ランコグラム
黄色のセルの部分が有意差がある比較です。

rankogram

NMAエビデンスのGRADE評価-(2)

2015年5月29日 Posted by aihara

GRADEシステムにおいては、エビデンスの質を評価するための、基本項目がある。risk of bias、非一貫性、非直接性、出版バイアスである。

各直接比較に関しては、従来のGRADE基準をそのまま適用できる。NMA推定値に関しても、GRADEに準じた基準を使うことができる。NMA推定値の確実性(certainty:エビデンスの質、効果の確信性ともいう)を評価する際の具体的な指針として以下のようなものも発表されている。
Network Meta-analysis: Users’ Guide for Surgeons: Part II – Certainty

●各比較で、risk of biasは低いか
●出版バイアスの懸念があるか
●直接比較における個々の研究結果は一貫しているか(異質性)
●間接比較は移行性の原則に順守しているか(推移性)
●直接比較と間接比較の結果は一貫しているか(整合性)
●信頼区間または信用区間は十分に狭いか(精確さ)
●治療ランキングは信用できるか

 

●各比較で、risk of biasは低いか(RoB):
たとえば、今回引用したFooteらの論文においては、Reamed vs Unreamed比較の直接エビデンスは low RoBだったが、Ilizarov vs Externalの直接比較は、準ランダム化試験が組み入れられていることでブラインドが欠如しているためhigh RoBと判定されている。また、Salantiらが報告しているように、NMAエビデンスのRoB評価には、contribution plotのデータを使うことも可能である。

●出版バイアスの懸念はどうか:
否定的な試験が出版されないままに終わると出版バイアスが発生する。同じように、大部分が企業出資を受けている、肯定的な結果を示す一連の小規模研究もまた出版バイアスにつながる。NMAにおける出版バイアスの評価は簡単ではないが、いくつかの方法が報告されており、たとえば今回の例では以下のような結果である。

図a:comparison adjusted funnel plot

funnel.jpg

図b:contour-enhanced funnel plot with Trim and fill

contour-trim.jpg

バイアスはありそうではないといえる

●直接比較における研究結果の一貫性(異質性):
たとえば、Reamed vs Unreamedの直接比較(4研究)では、点推定値は類似し、CIの重なりは広く、異質性検定のp値は0.61、I2=0%であり、一貫性が高いことが示されている。

●間接比較の移行性(推移性):
Footeらは、Reamed vs Unreamed比較において間接推定値と直接推定値との大きな差は、非推移性によると評価し、間接エビデンスの質をグレードダウンとしている。

●直接比較と間接比較の結果は一貫しているか(整合性):
前回述べたように、Reamed vs Unreamed比較には非整合性がある。なお、直接推定値とNMA推定値の比較も可能である(下図)。

forest_direct_vs_nma

●信頼区間または信用区間は十分に狭いか:
GRADEにおいては、効果推定値に関するランダム誤差の程度をデータの不精確さとして評価し、データの範囲を提示する。この範囲は、従来の頻度論的分析では信頼区間、ベイズ分析では信用区間として知られている。
NMAにおいては、十分なサンプルサイズを持つ複数の試験を統合して2つの介入を比較した場合には、CIは狭くなる可能性が高い。しかし、比較のためのエビデンスの大部分が間接推定値による場合は、CIは広くなる可能性が高い。
Reamed vs Unreamedの比較では、NMA推定値のCIの幅(Ln95%CI=1.0238)は直接推定値のCI(Ln95%CI=1.0136)よりも広くなっている。

***********************************************
別の比較であるUnreamed vs Externalをみてみると、以下である。

nma_evidence_table-2

■Unreamed vs Externalに関するエビデンスの質評価と最良のエビデンスの決定

直接推定値は準ランダム化試験のために1段階グレードが下がりQoEは”moderate”である。直接推定値と間接推定値には非整合性がないが(forest plot図のCvB)、間接推定値は、risk of biasによるグレードダウンがあり、さらに、信頼区間は広く(95%CI 0.08-1.56)不精確であり(著者らはグレードダウンとしての理由を”非推移性”と記載しているため、上図においても、intansitivityとした)、最終的なQoEは”Low”である。NMA推定値の点推定値は、直接推定値や間接推定値と近似しており、信頼区間は直性推定値の信頼区間よりもやや狭い(95%CI 0.23-0.62)。エビデンスの質は、risk of biasによる1段階グレードダウンの”moderate”である。

したがって、本比較においては、”moderate”の質のNAM推定値を最良のエビでデンスとして採用することになる。

注:オリジナルの論文にない図表は、全て相原が論文データをもとに作成したものであり、それらの信用性については保証できません。

次回は、ランキングについてチャレンジしてみたい。

NMAエビデンスのGRADE評価-(1)

2015年5月28日 Posted by aihara

前回、前々回のネットワークメタアナリシス(NMA)について、GRADEを使ってエビデンスの質を評価すると以下のような手順となる。NMAエビデンスに関するGRADEアプローチの適用(4つのステップ)については、GRADE2版を参照していただきたい。

画像

■Step-1: ネットワーク内の各比較について直接推定値と間接推定値を示す

Reamed(A) vs Unreamed(B)比較における、直接推定値(4件のRCT)は0.74(0.45-1.24)、間接推定値(7件のRCT)は0.07(0.01-0.46)である。

■Step-2:直接推定値と間接推定値の質を等級する

AvBのhead-to-head、つまり直接推定値のrisk of biasはlowであるが、その信頼区間は広く(0.45-1.24)、”効果なし=1”をまたいでおり、不精確さ(imprecision)のため1段階グレードダウンとなる。(GRADE QoE: Moderate)

一方、AvBの間接比較の推定値は0.07(0.01-0.46)と有意差があり、リーマ使用の釘固定よりはリーマ不使用の釘固定の方がはるかに再手術率が低いことを示している。しかし、採用研究が割り付けの隠蔽化やブラインド化の欠如のためrisk of biasが高いことから「moderate quality」にグレードダウン、さらに、効果修飾に差がある(非推移性:注1)の疑いの試験により構成されていることから、最終的なエビデンスの質はlowにグレードダウンとなった(論文著者らの評価)。

注1:非推移性:たとえば、共通の比較対照(B)を介して、懸案の比較(たとえばA対C)に関する推論を立てる場合、AvB試験とBvC試験とで、患者、介入、アウトカムが著しく異なる問題を、”推移性の違反(violation of transitivity)”もしくは非推移性(intransitivity)という。

■Step-3: NMA推定値を示す

直接推定値と間接推定値は、それぞれを取り巻く信頼区間の重なりはほとんどなく、両者が同一であるとする帰無仮説の値(注2)は0.0196(論文には0.02と記載されている)であり、効果が同じではないことを示唆している。
NMA推定値は、0.62(0.37-1.03)である。

注2:interaction, 整合性検定
(NMAに関する特殊用語とその意味は、GRADE2版を参照のこと)

■Step-4: NMA推定値を等級する

直接推定値と間接推定値には非整合性があり、理論的にはこの整合性は非推移性によって間接比較に生じたバイアスが原因で生じる。非整合性(incoherence)のために、本NMA推定値の確信性は低下し、さらに95%信頼区間から”不精確(imprecision)”でもある。したがって、NMA推定値の最終的なエビデンスの質は、highから2段階低下し、Lowとなる。

■エビデンステーブル

nma_evidence_table-1

さて、我々は、Reamed vs Unreamedの比較に関して、直接エビデンスと間接エビデンスとNMAエビデンスのいずれを信用すべきだろうか

・・・答えは明らかに、エビデンスの質が“中(moderate)”の「直接エビデンス」である。
「リーマ不使用の釘固定術はリーマ使用の釘固定術に比べて、再手術のオッズ比を30%減少する」といえる。

間接比較による効果は非常に大きいが、その効果推定値に関する確信性は低く、過大評価しているのであろう。また、整合性がない直接推定値と間接推定値から混合推定値を得ることが適切とは思えない。

  • カレンダー

    2024年3月
     123
    45678910
    11121314151617
    18192021222324
    25262728293031
  • 最近の投稿

  • アーカイブ