2014年6月21日 Posted by aihara

ネットワークメタアナリシスのエビデンスの質

  
ネットワークメタアナリシスの全体的なエビデンスの質(QoE)評価は、きわめて難しい。エキスパートの意見が強く影響し、結果的に推奨の強さも偏り安いように思います。
図は、自分で出力したネットワーク内の直接・間接比較のRisk of biasですが、自分で解析処理してみると、いかに恣意的な判断になりやすいかがよくわかります。

 

nma-0621

 

JAMAユーザーズガイドにおいても、ネットワークメタアナリシス(NMA)の解釈について発表されたように、効果推定値の確信性の評価は非常に難解です。
GRADEワーキンググループは、NMAに関する評価手法を確立しようとしていますが、naive direct comparison、indirect comparison(間接比較)、さらにNMAのエビデンスの質を判断するためには、GRADEアプローチの基本の理解が必須です。そのためには、唯一のGRADEの教科書である「診療ガイドラインのためのGRADEシステム」を参照ください。(注:下記本においては間接エビデンスの評価については解析していますが、NMAについては解説していません。)

 

grade_book_0621

2014年6月10日 Posted by aihara

機能性消化管疾患 診療ガイドライン2014-機能性ディスペプシア(FD)

  

「機能性消化管疾患診療ガイドライン2014-機能性ディスペプシア(FD)」をMRよりいただいた。

診療ガイドラインのためのGRADEシステム」(相原、他、凸版メディア、弘前、2010)を参考にしていると記載されている。

body of evidenceの質評価も推奨の強さの分類もGRADEであるが、統合エビデンスに基づいた評価でないものもある。

しかし、
(1)エビデンスプロファイルがないので、読者は「質評価プロセス」を知ることはできない。
(2)「推奨の強さ」に合意率が付記されているが、その評価判定には疑問があり、GRADEの推奨4基準が明記されていないものがある。
さらには、
(3)「推奨なし」のCQに関する記載内容をみると、「弱い(条件付き)」の推奨としたほうがよいと思われるものがある。
(これは、ガイドライン作成グループの総意なのだろう)
(4)診断研究のGRADE評価をどのように実施したのか記載はない。

・・・・(1)は、もったいない

2014年6月7日 Posted by aihara

ネットワークメタアナリシスにおけるrisk of bias

  

network meta-analysis(NMA)においては、単に統合値を算出するだけではなく、各比較に寄与した研究のRisk of bias(RoB)を提示すべきと思います。

なぜなら、我々は、”間接エビデンスのQuality”を知りたい。

下図は、私が、あるサンプルデータを使ってNMAを実施し(*)に各armのrisk of bias結果を表示したものです。コクランに準じて、high, unclear, lowで評価し、各々をカラー(3種類で対応)表示したもので、Nodeの大きさは、研究の大きさを反映しています。

(*) NMA解析においてはSTATA13を利用しましたが、OpenBUGSやRでは効果推定値算出やフォレストプロット表示はできるものの、RoBの表示はできませんでした。

NMAにおいては、このように提示すべきということではなく、・・・・

何を主張したいのかというと、
「NMAの著者は、患者にとって重要なアウトカムに関して、間接比較のRoBを提示し、NMAによる統合エビデンスの”質”を明記してほしい。できたらば、そのエビデンスの質はGRADEアプローチを使って評価していただきたい」ということです。

単にNMAによるデータや各薬剤のランキングを示されても、エビデンスの質(効果推定値が正しいという確信性)が解らなければ、意思決定のための推奨の程度もわからない、ということです。
(例、抗鬱剤に関するNMAにおいても、各研究の”バイアスのリスク”はどうだったのだろうか、と疑問に思います)

nma_rob

2014年5月29日 Posted by aihara

Network meta-analaysisの報告者は、間接比較、直接比較および統合エビデンスの質を提示すべきである

  

network meta-anlaysis(NMA)に関しては、自分でいくつかの論文データを入力してNMAを実施してみて気づきましたが、多くの既報論文においては、各研究のRoBあるいはNMAのRoB、直接比較と間接比較との整合性・一致性の報告は不十分で、さらにはNMAの全体的なエビデンスの質、などの報告はほとんどありません。

そして、ネットワークにおける認容率と反応率のわずかな統計学的解析結果の発表や薬剤ランキングの作成などによる、偏ったエビデンスにより推奨が決定されているように思います。

”エビデンスはアウトカムごとに評価しないといけない、そして、推奨を決める要因は、エビデンスだけではない”が、GRADEの基本です。

NMA手法の独特な複雑性のために正当な反論というか、NMAに関する、あるべき標準的な批判的吟味ができてない状況が、国内の一部の診療領域でおきているようが気がします。

NMAは、方法論としてのハードルは高いものの(R, OpenBUGS, STATAなど)、実は一般MAと同じようなものです。

ただ、NMAを自身で実施すると、通常のNMには決して味わえない、”お~、解析を実施している!”という感動が(統計学者になったかのような誤解とともに)味わえることは確かです。 (^^)
自分で、(エクセルデータを利用して)NMAを実施して以下のような結果を得ることができると、自分がNMAをできるように勘違いしてしまいます。

NMA-0529

しかし、重要なことは、選択研究を含めて「結果は妥当か」、「結果は何か」、「結果を患者ケアにどのように適用できるか」、というEBMの基本3ステップというか、Evidece Cycleの基本5Aであり、SRにおいてはエビデンスの質を、CPGにおいては推奨の強さとエビデンスの質の双方を提示しないといけません。

ところが、このNMAのエビデンスの質評価と推奨の強さの判断は相当に難しい。

2014年5月23日 Posted by aihara

GRADEシステム:アウトカムの重要性の再評価

  

GRADEを使った診療ガイドライン作成においては、国内のガイドライン作成手順には記載されていない、いくつかの重要なポイントがあります。

その一つが、「アウトカムの重要性の再評価」です。

■GRADEシステムにおけるアウトカム評価は、意思決定において、”重大か”、”重要だが重大ではない”、”重要ではない”、の3つのカテゴリに分類されてスタートします。(下図では、アウトカム1,2が重大、アウトカム3が重要、アウトカム4が重要ではない)

gradeFlow_2014

アウトカムの再評価に関しては、本図においては、「左斜め上に向かう矢印」で示しています。

アウトカムの再評価の具体例:
=============================================================
■アウトカムの相対的な重要性の再評価
例えば、腹部大動脈瘤のスクリーニングのような、スクリーニング介入を考えてみよう。最初は、ガイドラインパネルは全死因死亡率に対する介入の影響を重大と考える可能性がある。しかし、たとえばエビデンスの要約では腹部大動脈瘤による原因別死亡率の重要な減少が明らかであるものの全死因死亡率の減少は明らかにできなかったとしよう。全原因死亡率の明らかな減少(他の死亡原因によるランダム誤差のために検出されないことがある)がないとしても、原因別死亡率の減少は十分に説得力のあるものと判定され、スクリーニング介入は明らかに価値がある。従って、全死因死亡率は関連性が低くなり、重大なアウトカムではなくなる。
==============================================================

同じように、
当初は重大としてリストアップした有害作用が、エビデンスを検索した結果、極めて稀なもので、かつ介入群においても対照群と差がなく、意思決定には影響しないと判断される場合には、アウトカムの重要性を再評価する必要があるということです。

★GRADEを使った、アウトカムの評価の詳細については、
書籍「診療ガイドラインのためのGRADEシステムー治療介入」(相原、他、弘前、凸版メディア、2010)を参照してください。
http://www.grade-jpn.com/grade-cover.html

★GRADEを使ってガイドラインを作成しようとする方々は、この点についてよく考慮していただきたいと思います。

2014年5月2日 Posted by aihara

STATAを利用したQUADAS-2評価

  

 

診断精度研究を評価する際には、潜在的なバイアス”ばらつき”(適用可能性を決定する)の双方を検討する必要があります。この2つが、QUADAS-2におけるrisk of biasとapplicabilityです。

 

0501-1

 

前回は、RevManを使ったQUADAS-2評価例を紹介しましたが、今回はSTATA(version 13)を使った解析例です。
●quadas command:

#Methodolgical Quality Graph
.quadas patient_selection index_test reference_stds flow_timing,bar col

#Methodolgical Quality Summary

.quadas patient_selection index_test reference_stds flow_timing, id(studid) sum col ysiz(4) xsiz(5)

 

stata-1

●midas command:

stata-2

 

このように、STATAでも、QUADAS評価グラフやサマリーが作成できます。

RevManがあるので、不要だろう! と思う方・・・・ そうではありません。(^^)

今後、診断精度研究のメタアナリシスの解説において、この理由を説明します。

 

 

 

 

 

 

 

2014年4月30日 Posted by aihara

Minds診療ガイドライン作成マニュアル(2014)の問題

  

Minds診療ガイドライン作成マニュアル ver.1.0 (2014.03.31)で記載されている診療ガイドライン作成のためのエビデンスの強さや推奨の強さの評価例をみてみよう。

■クリニカルクエスチョン

  • 対象:虚血性脳卒中(79歳まで)
  • 介入:6時間以内のアルテプラーゼ iv
  • 対照:プラセボ

 

■アウトカムとエビデンスの強さ
4-7

  • (1) 6か月後の総死亡:(重要性9) RCT3件からのエビデンスで、非直接性(-1)、464/1976(alteplase)   vs 456/1960(control)、相対リスク1.01 (95%CI 0.91-1.14) にもかかわらず、エビデンスの強さはA(強)。
  • (2) 6か月後の依存性(ADL):(重要性7) RCT3件からのエビデンスで、非直接性(-1)、1176/1976(alteplase)   vs 1226/1960(control)、相対リスク0.92 (95%CI 0.83-1.04) にもかかわらず、エビデンスの強さはB(中)。
  • (3) 1週間以内の脳出血:(重要性9) RCT3件からのエビデンスで、非直接性(-1)、144/1975(alteplase)  vs 29/1960(control)、相対リスク4.43 (95%CI 2.07-9.48) にもかかわらず、エビデンスの強さはA(強)。

========================
エビデンスの等級ダウンはどうなっているのか、評価の判定理由がわかりません。

 

■推奨の強さ

80歳未満の発症後3時間を超えた急性脳梗塞患者に対して、総死亡率低下、ADL保持、脳出血防止を考慮した場合、6時間以内のrt-PA投与を提案する。(弱い推奨)
  • ”価値観や好み:本推奨の作成にあたっては、急性脳梗塞患者に対する死亡率低下の低下、ADL保持、脳出血拍子を重要視した”
  • ”エビデンスの総括(重大なアウトカム全般に全体的なエビデンスの強さ) ・・・B(中)”
  • ”益と害のバランスは不確実。脳出血は増加するが、死亡率はほとんど差がなく、ADL保持もわずかに改善する。これは、アルテプラーゼ投与によって改善する患者もいることを示している。”

======================

上記の評価判定は全く理解できません。

患者にとって最も重大なアウトカムに関する全体的なエビデンスの質は、(著者らの判定に従えば)、”A”です。

利益と害のバランスは、明らかに害が大きく、害の内容は、”1週間以内の脳出血でありそのほとんどが死亡する”というものです。NNH(Number needed to harm)にして、17 (95%CI 14-21) と大きい。しかし、本書の解説例においては、この急性期の害と比較しても、6か月後のADL保持(しかもその差は統計学的には有意ではない)というエビデンスを採用し、レベル”B”としています。

「急性期脳卒中の治療介入のアウトカムを問題としている状況で、半年後のADLというアウトカムが重大なものなのだろうか」

「脳出血リスクが4倍(最悪なら10倍)も多くその殆どが死亡するという初期の1週間をしのぐと、6か月後のADL保持が得られる“かも”しれない」というアルテプラーゼ治療を臨床医として、recommend forの方向性として推奨するだろうか?

 

提示データからすれば、”do no harm!”の原則から、明らかに、Recommend against/A と判定すべきでしょう。

 

まあ、ガイドライン作成の手順としての記載例なので、これもありかとも言えますが、エビデンスの質や推奨の強さのGRADE評価に関する解説としては不適切と思います。

COIの項はよく記載されていると思いますが、上記記載例をみるかぎりは、アルテプラーゼの製薬会社となにか関連があるパネルの意見が強く反映しているのかと勘違いされる可能性もあるでしょう。

誰が見ても本マニュアルはGRADEシステムを参考にしていることは明らかですが、GRADEに順守しているとも明記せず、GRADEシステムを適格に記載しておらず、利用者の多くは混乱することだろう。

本マニュアルを的確に利用しようとすると、それはGRADEを改変するという方向となり、大きなジレンマとなることでしょう。

 

・・・・どうするMinds!

 

附:ちなみに、「rt -PA (アルテプラーゼ)静注療法 適正治療指針 適正治療指針 第二版(2012年)」では、
http://www.jsts.gr.jp/img/rt-PA02.pdf

”静注用の 静注用の 血栓溶解薬には、アルテプラーゼを用いる [エビデンス レベル レベル Ia, 推奨 グレード  A”

・・・Minds2007基準を使うと、(利益と害のバランスによる推奨評価ではないため)このような評価になります。

 

GRADEを適切に利用したい方々は、診療ガイドラインのためのGRADEシステム(相原、他、弘前、凸版メディア、2010)を。

 

 

 

 

2014年4月22日 Posted by aihara

QUADAS-2:診断精度研究のrisk of biasと適用可能性

  

診断精度研究の質評価ツールの一つとして、QUADAS-2があります。QUADAS-2は、2011年に、QUADASよりアップグレードされました。

QUADAS-2は、バイアスのリスク、ならびに研究疑問への適用可能性に関する懸念の観点から、4つの各主要領域(患者の選択、指標検査、参照基準、推移とタイミング)を評価するよう構造化されています。それぞれの質問に対して“Yes”か“No”、もしくは“Unclear”か回答し、判定結果をRisk of bias and applicability concerns summary, Risk of bias and applicability concerns graphとして提示します。

 

quadas2-1 quadas2-2

 

QUADASからQUADAS-2への変換、あるいは、QUADAS-2を使った4段階、4つのドメインに関する評価について簡単にまとめたものを公開しました。 

 

quadas-2 診断検査へのGRADEシステムの適用

(資料内の、QUADAS-2を使った2つの表に提示するデータは仮想のもので、相原がRevManを使って作成したものです)

 

 

QUADAS-2の詳細: http://www.bris.ac.uk/quadas/quadas-2/

 

 

 

2014年4月18日 Posted by aihara

診断検査へのGRADEの適用は困難だが実行可能である

  

診断検査へのGRADEの適用に関する論文が、JCEに発表されました。
(DECIDE計画からの発表で、GRADE working groupの診断GRADEに関するJCEシリーズ2編ではないです)

Gopalakrishna G1, et al:Applying Grading of Recommendations Assessment, Development and Evaluation (GRADE) to diagnostic tests was challenging but doable

J Clin Epidemiol. 2014 Apr 8. pii: S0895-4356(14)00044-4. doi: 10.1016/j.jclinepi.2014.01.006. http://www.ncbi.nlm.nih.gov/pubmed/24725643

”診断検査へのGRADEの適用は困難だが実行可能である”

figure1

RoBはQUADAS-2を、QoEはGRADEを使うべしということで、エビデンスの等級ダウン/アップ、推奨の強さの決定もこれまでと同じです。

診断検査へのGRADEシステムの適用

http://www.grade-jpn.com/diagnosticTest_grade.html

 

 

 

 

2014年4月14日 Posted by admin

GRADE利用の国内ガイドライン(歯科)

  

Mindsが、.『睡眠時無呼吸症候群』の医療提供者向け診療ガイドラインを公開しました。(2014/03/25)
◇睡眠時無呼吸症候群
閉塞性睡眠時無呼吸症候群に対する 口腔内装置に関する診療ガイドライン
【作成】 日本睡眠歯科学会 、日本睡眠歯科学会 診療ガイドライン作成委員会

このガイドラインの特徴は、GRADEシステムを採用していることです。

GRADE Working groupメンバーとして、このガイドラインを評価すると、以下のような疑問があります。

●1 ベースラインのAHI値でみるかぎり、複数の研究において、均質な集団とは思えないので、Fixed effect modelを利用するのは問題があると思います。
(例、Aarab 2011研究ではAHI 22(口腔内装置) vs 20(対照)、Petri2008のAHI 39と33と比較して2倍近い値であり、同じように対CPAP比較においても同じようなベースラインの差が研究間でみられる。“心血管イベントへの影響はAHI 30を境にして異なる”旨の記述をしていながらの一連の統合解析にはやや無理があると思う)

もっとも、Random effectでも大きな差はないようですが、以下は本ガイドラインに記載されているデータを使った AHIについての,ランダム効果モデルにおけるSMDです(私が作成)。

ahi

●2 提示されている Mean differenceの大きさの程度について、著者らがどのような判断基準を使ったのかよく理解できません。

口腔内装置 vs 未治療: AHI -7.05[-12.05~-2.03]は、臨床的に重要な差なのか。最少とするとAHI2(対CPAPで3程度)の違いです。
他のアウトカムについても同様に、MIDについてパネルはどのように規定していたのか不明です。

●3 ガイドラインにおける記載内容と記載順は以下です。
—————————————————————————–
第4章~~
1.論文選択の結果
2.選択論文の評価・結果のまとめ:
 
    SRにおけるbody of evidenceのSoFとEvidence profile
3.害について
4.医療資源(コスト)について
5.価値観と好みについて
第5章:本CQについての「推奨の強さとエビデンスの質」と、パネルの投票結果が記載されています。

—————————————————————————

さて、GRADEシステムを使って「エビデンスから推奨」を決定する際には、GRADE教科書にも記載しているように、4つの判断基準を明記しないといけません。


(1)重大なアウトカムに全般に関する全体的なエビデンスの質
(2)望ましい効果と望ましくない効果のバランス
(3)価値観や好み
(4)コストや資源の利用

・・・ では本ガイドラインにおいて、これらが記載されているかどうかをみると、判断基準の(1)と(2)は十分な記載がなく、パネルがどのようにして「推奨(本例ではGRADE1)」を決定したのか理解できません。

この点については、GRADEシステムにおいて「強い推奨」の意味は、どのようなものかを、GRADE教科書に記載されている内容を確認していただきたい。

例:「(患者にとって)その状況下にあるほぼ全員が、推奨された行動を希望し、希望しない人がごくわずかである。」

最終的な、本ガイドラインにおける”推奨”の文書は、
「口腔内装置の使用を閉塞性睡眠時無呼吸症候群に推奨する。ただし、経鼻的持続陽圧呼吸両方(CPAP)が適応となる症例に関しては、CPAPを適応し、CPAPを使用できない場合、口腔内装置の使用が望ましい」

・・・これは、GRADEシステムでは、“条件付きの推奨“(conditional recommendation= weak rec.)に相当すると思います。実際、対対照、対CPAPの、Forrest plotデータとも一致する内容です。

●4 さらに本推奨文章内容に関して、なぜ推奨につながる「エビデンスの質をmoderate(中)」と最終的に決定したのかが、よくわかりません。著者らが提示しているエビデンスの質のデータは、すべてSRのそれにすぎません。わかる人はわかるでしょ、と言われれば・・・わかります。(^^)

●5 細かな点ですが、
(1)サンプルサイズとして、“imprecisionなし“という判定はよいのだろうか。
(2)その他、略

最後に
せっかくGRADEを採用したガイドラインなので、あえて厳しい評価をさせていただきましたが、歯科における積極的なGRADEガイドライン作成を、医科も見習ったほうがよいと思います。
なお、データの解釈など私が勘違いしている可能性もありますので、その際はご容赦ください。

  • カレンダー

    2025年7月
     123456
    78910111213
    14151617181920
    21222324252627
    28293031  
  • 最近の投稿

  • アーカイブ