2019年5月14日 Posted by admin

GRADE3eの正誤表

  

診療ガイドラインのためのGRADEシステム第3版の正誤表です。

http://www.chugaiigaku.jp/item/detail.php?id=2720

2019年4月24日 Posted by admin

Minds Tokyo GRADE center

  

GRADEセンターの国内設立を提案してから3年、やっと承認されて完了しました。

福岡先生からも直接連絡があり、またMinds連絡ニュースにも以下のようにありました。
********************************************************
■1.『Minds Tokyo GRADE center』設立承認のご案内
https://minds.jcqhc.or.jp/guide_author/info_detail/T0012480

これまでMindsでは、『Minds診療ガイドライン作成マニュアル』の開発・提供、Holger Schunemann教授(カナダ・マクマスター大学)を招聘したセミナー・ワークショップの実施等を通して、GRADEアプローチの普及に努めてまいりました。
このたび、「Minds Tokyo GRADE center」の設立が正式に承認されましたので、お知らせいたします。Mindsウェブサイトへの関連情報掲載、具体的な取り組みにつきましては後日ご案内いたします。GRADE working groupの取り組みについては、下記URLをご確認ください。
http://www.gradeworkinggroup.org/
*******************************************************

徐々にガイドラインの質が向上することでしょう。
 

2019年4月15日 Posted by admin

メタアナリシスにおける試験逐次解析(TSA)-(2)

  

試験逐次解析(Trial Sequential Analysis: TSA)の追加です。

TSAマニュアルにも記載されていますが、TSAソフトウエアは、RevMan5データを直接取り込むことが可能です。

手順は以下です(詳細はTSAマニュアルを参照)。

1. RevMan5のデータをcsvファイルとして保存する。
2. TSA/RM5Converterを使ってcsvファイルを取り込む。
3. CSVファイルをTSAファイルに変換する(新規作成フォルダの中に変換データファイルができる)。
4. TSA.jarを使って、変換TSAファイルを読み込む。
5. α消費境界(Alpha-spending boundary)や、重複対数法則(law of the iterated logarithm)などの有意性検定のための必要項目を入力する。
6. 異質性(Diveristy)に関する調整の効果も評価する。

 
●例: GRADE3版で記載している、”Thrombophilia”メタアナリシス仮想例の心筋梗塞アウトカムに関するエビデンスを、RevManから変換したものが以下です。

 


 
●そのデータをTSAソフトウエアで解析したものが以下です。
(STATAを使った解析結果、GRADE3版のp139とほぼ同じ値です)

 


 
いずれにしても、GRADEのimprecisionにおける評価には、さまざまな注意点があります。

注: 「R」では、Package ‘Sequential’のようですが、やや操作が複雑のように思います。

 

2019年4月11日 Posted by admin

てんかん診療ガイドライン2018に関する補足

  

てんかん診療ガイドライン2018に関する補足です。

GRADEを使った臨床疑問への推奨作成は、CQ9-2, CQ10-1, CQ10-2の3件がありますが、このうち CQ10-2の推奨の強さの判断にはやや問題があるようです。

提示されている推奨は、「GRADE 1C:強い推奨、エビデンスの確実性「低」)です。
**************************************************************
てんかんガイドラインは、「薬剤抵抗性てんかん」という特殊な患者サブグループであり、効果の大きさから、整合性に欠ける推奨をパネルは許容したものと思います(私はこの疾患については全く知識がないのであくまで想像です)。

しかしながら、このCQ10-2のエビデンスプロファイルにおける記載には疑問があります。

“信頼区間が閾値をまたいでいるので不精確”(脚注)と判断していながら「強い推奨」と決定した事情は理解できないです。
一部のアウトカムに関しては、効果推定値の信頼区間が相当な利益と相当な害の閾値をまたぐため、非常に深刻な不精確さあり”と判断してます。それにもかかわらず、「強い推奨」です。

ただし、今回、自分でオリジナルデータをメタ統合解析してCoEや推奨を評価してみましたが、推奨のための”完全コンテキスト化アプローチ”を使うと、「強い推奨」になると思います。
**************************************************************
なので、HPで紹介しているコメントも変更しました(CQ10-2の確認が不十分でしたが、最終的な推奨の強さは変わらないです)。
http://www.grade-jpn.com/jp_grade/tenkan_2018.html

「整合性にかける推奨」や「完全コンテキスト化アプローチ」は、診療ガイドラインのためのGRADEシステムを参照ください。

 

2019年4月10日 Posted by admin

メタアナリシスにおける試験逐次解析(TSA)

  

近年ますます増加している試験逐次解析(Trial Sequential Analysis: TSA)に関する論文のひとつです。

Increased Risks for Random Errors are Common in Outcomes Graded as High Certainty of Evidence. J Clin Epidemiol. 2019 Feb;106:50-59.

一部を省略した抄録です。

目的:エビデンスの確実性(CoE)が”高”として評価されたアウトカムにおけるランダム誤差のリスクを評価する。
GRADE (Grading of Recommendations Assessment, Development, and Evaluation)を使って高いCoEと等級付けされた2値アウトカムのCochraneレビューをランダムに100件選択した。ランダム誤差のリスク増加を検出するために、タイプI(α= 0.05)とタイプII(β= 0.10)の誤差に対して従来の閾値を用いた試験逐次解析(Trial Sequential Analysis: TSA)を実施した。

結果:全体的に、高いCoEと等級付けされたアウトカムの38%(95%信頼区間:28%~47%)でランダム誤差のリスク増加があった。害を評価したアウトカムは、利益を評価したアウトカムよりも頻繁に影響を受けた(47%対12%)。ランダム誤差の増加によるアウトカムを再グレード付けすると、現在のガイドラインにおいて74%がグレードダウンされるべきであることを示した。

結論:
意思決定者は、高いCoEと等級付けされたアウトカムは、しばしば、偽陽性や偽陰性の所見が高いことを認識する必要がある。

***************
エビデンス総体の確実性を評価するGRADEドメインの一つであるimprecisionの評価において、このTSAが非常に重要であり、今後はルーチン化される可能性があります。さらにはGDTに採用さえる可能性もあります。

例1.TSAの4つのシナリオの概略図


[判断]
A: Z=1.96と交差しており有意な結果であるが、Z曲線はmonitoring boundary(赤線superiority)と交差していないので、誤った効果である(false positive)。
B: 情報サンプルサイズに到達する前に、Z曲線はmonitoring boundary(赤線superiority)と交差し、確固なエビデンスである(true positive
C: Z=1.96と交差しておらずエビデンスが欠如している。すなわち、このメタアナリシスは必要情報量より少ない患者を組み入れている(false negative)。
D: 必要情報量には到達しているが、Z曲線はmonitoring boundary(赤線non-superiority, futility)と交差しており、介入効果はない(true negative)。

 
例2.TSA user manualより


[判断]
禁煙による効果は20%を超えないことを80%で検出力で示すfutility boundaries(non-superiority)を交差している。つまり、確信性と効果サイズの仮定内では、介入効果はない(真陰性)。
 
例3. STATA ”Trial sequential boundaries for cumulative meta-analyses”の記載データを利用したTSA
レビューの目的は、”One of the review’s aims was to determine whether the position (high versus low) of the tip of an umbilical arterial catheter led to clinical vascular compromise.”



[判断]
5件の研究からなるメタアナリシスである。
必要サンプルサイズに到達する前に、Z曲線はmonitoring boundary(赤線superiority)と交差し、確固なエビデンスである。

なお、TSA解析においては、
異質性を利用したサンプルサイズに関しても、従来のI2使用ではなく、D2 (Diversity) 、さらにはI2を使ったHeterogeneity-adjusted information size, D2を使った、Diversity-adjusted infromation sizeを考慮することもできます。
(詳細はマニュアルや関連文献を参照)

試験逐次解析(Trial Sequential Analysis: TSA)に関しては、「診療ガイドラインのためのGRADEシステム 3版」のp139でも紹介しています(書籍ではSTATA使用例を紹介)。

また、TSAは、STATAソフトウエアを使って実施可能ですが、フリーのTSAソフトウエア(β版)でも解析可能です(上記の例3)。
http://www.ctu.dk/tools-and-links/trial-sequential-analysis.aspx

”TSA was developed at The Copenhagen Trial Unit, Copenhagen, Denmark. The team consisted of Kristian Thorlund (KT), Janus Engstrøm (JE), Jørn Wetterslev (JW), Jesper Brok (JB), Georgina Imberger (GI), and Christian Gluud (CG)”

 
システマティックレビューや診療ガイドラインを作成する方々は、TSAを活用する必要があると思います。

 

TSAを使った実際の論文のいくつかを紹介します。

・Screening for coronary artery disease in patients with type 2 diabetes: a metaanalysis and trial sequential analysis. BMJ Open. 2017 May 9;7(5):e015089

・Efficacy and safety of aspirin for primary prevention of cardiovascular events: a meta-analysis and trial sequential analysis of randomized controlled trials. Eur Heart J. 2019 Feb 14;40(7):607-617.

 

2019年4月9日 Posted by admin

国内CPGの問題:観察研究のエビデンス総体の質-(1)

  

ある国内診療ガイドラインにおける観察研究のエビデンス総体の質評価に関する問題です。

状況は以下です。

内科的疾患(非悪性腫瘍疾患のend stage)に対して介入Aと介入Bがあるが、当該ガイドラインチームは、B治療に関する推奨を作成しようとしている。
そして、設定した重大なアウトカムを扱った主要CQであるCQ: A v Bについて、(RCTはなく)10数件の観察研究が抽出された。

収集した各観察研究は、原著者らは交絡バイアスや選択バイアスを十分考慮して発表したものであったが、当該ガイドラインチームは、(それらのバイアス調整を無視して)、各研究における総合効果推定値をもとに個々の研究の効果を比較した。(当然ながらA vs Bの調整なしの統合推定値には有意差はなかった)

最終的なパネルの結論は、”A治療優位が9件で、B治療が優位が2件であった”が、「さまざまな事情によりエビデンスの詳細不明な点が多く、利益と害のバランスは不明、=”推奨なし”」とした(B治療の推奨作成メンバーには統合結果は不本意なものだったのかもしれない)。

結局、メタアナリシスの統合推定値は提示せずと決定し、観察研究のエビデンス総体の確実性に関しては、「低」から、(交絡因子の調整が不十分で)「非常に低」に等級ダウンした。

そして、B介入を実施した場合の、複数の副次的なCQについて、(こちらはRCTもあり)統合エビデンスの確実性と推奨の強さを決定した。

::::::::::::::

このような手法は、ガイドライン作成において違法で、信頼できる診療ガイドライン作成基準を満たしていません。

患者視点からのスコープにおけるトピックの重要性が無視されていることに加えて、以下の問題があります。


(1) エビデンスの確実性の評価の誤り:

観察研究のエビデンス総体の確実性評価における、重複等級ダウンを実施しているという深刻な問題があります。
原著観察研究が、交絡バイアスや選択バイアスに対して十分留意してデータ解析を実施し、予後バランスを考慮した研究結果を発表しているならば、そのような研究を収集統合するSRチームは、観察研究の統合エビデンスをそれに見合った調整をする必要があります。交絡未調整の推定値をそのまま使用してはなりません。
ガイドライン作成班が意図的に、等級ダウンをしているようなものです。

交絡や洗濯バイアスを調整をした解析を実施しないならば、「観察研究を”高”のエビデンスからスタートして、RoBを判断する」(*)という戦略をとって、GRADEの従来の「低」のエビデンスの確実性からスタートして、その後の等級ダウンすることで(交絡や選択バイアスによる)重複等級ダウンを回避する必要があります。

*:この判断戦略が、ROBINS-Iです。
Risk Of Bias In Non-randomized Studies of Interventions (ROBINS-I)

なお、ROBINS-Iでも、従来のGRADEでもエビデンスの最終的な等級は同じになるはずであると、GRADE working groupは発表しています。

 

(2)エビデンス総体の利用の誤り:

また、CPG作成の基本方針として定量的メタアナリシスを採用していながら、”A治療優位が9件、B治療優位が2件云々”という判断は、もはや「エビデンス総体に基づく推奨」ではないです。この判断は、”個別研究のレベルと数の判断」ということになるわけです。

*収集エビデンス漏れや採用エビデンスの不適切さ、解析手法問題、合意形成の不明瞭さなどもあって、当初は私も協力委員として参加していましたが、協力者名簿から削除していただきました。気が付いた時点で統括委員へ進言したものの、修正不可能ということでした。診療ガイドライ作成においては、各重要ステップで合意形成をしつつ進めなくてはいけません。

 

(3)スコープにおける優先順位の誤り:

Analytic frameworkを作成すると簡単に理解できますが、そもそも患者治療において最初の選択分岐点は、A vs Bです。したがって、A治療が優位ならば、その後の副次的なCQが発生しますが、そうしないで、最初からB治療を実施した場合の副次的CQを多数作成しても、優先性は低いものになります。

*収集エビデンス漏れや採用エビデンスの不適切さ、解析手法問題、合意形成の不明瞭さなどもあって、当初は私も協力委員として参加していましたが、協力者名簿から削除させていただきました。気が付いた時点で統括委員へ進言したものの、修正不可能ということでした。診療ガイドライ作成においては、各重要ステップで合意形成をしつつ進めなくてはいけないのですが・・・・。

 

2019年4月1日 Posted by admin

国内の診療ガイドラインで、GRADE遵守のものは?-(3)

  

Mindsが承認登録した診療ガイドラインのうち、(2009年2月から現在までの10年間の”お知らせ”)があったCPGについて、body of evidenceに基づいているか調べました。
(改訂版がある場合には、旧版と改訂版のいずれも採用しました)

以下がその結果です。


(I) 2年ごとの国内ガイドラインとエビデンス総体利用ガイドラインの数

総数217件で、年代別では、2007~2009年が16件、2010~2011年が4件、2012~2013年が27件、2014~2015年が85件、2016年~2018年が85件でした。
(Mindsの”お知らせ”で紹介になったガイドラインなので、実際にはこの数倍が出版されていると思います)

2年ごとの件数と、”エビデンス総体”に基づくガイドラインは、それぞれ0件、2件、1件、6件、10件でした。

エビデンス総体の質を等級付けして推奨の強さを決定した国内の最初ガイドラインが、「顎関節症患者のための初期治療ガイドライン」です。
最終のkokunai-cpg_0401.xlsxを参照。


(II) このデータが意味するものはなにか

1. IOMの信頼できる診療ガイドラインを作成するための基準が発表された以降(2010年~)での、国内診療ガイドラインにおけるエビデンス総体の利用割合は、9%です。
2. body of evidenceの利用割合(2年ごと)には、上図の5つの年代グループ間には統計的有意差はみられない(Fisher p=0.0555)。
3. Minds2014手引き発表以降として、2014年承認以降のグループ4(2014-2015)、グループ5(2016-2018)をみても、body of evidenceの利用割合は増えていない。また、両群間にも統計的優位さはない(片側p=0.146)。
4. 国内の診療ガイドラインには以下の特徴があった。

(1) ”エビデンス総体に基づいて作成する”と記載があっても、実際は個別研究エビデンスに基づくものが多かった。
(2) 中には、個別研究エビデンス評価から、エビデンス総体評価に切り替えたものがあった(例、大腸がんガイドライン2016)。
(3) 多くのガイドラインでMindsシステム(2007, 2014)を使用していた(*現在は、Minds2017)。
(4) 10年以上も個別研究エビデンスによる推奨作成を続けているガイドラインチームも多く、途中で変更できない何らかの事情があるのだろう。
(5) 2014年には、「日本の高年初産婦に特化した子育て支援ガイドラインの開発」研究グループによる高年初産婦に特化した産後1か月までの子育て支援ガイドラインが発表されていた。
 
また、改訂版の一部のCQだけであるが、2018年3月、GRADEに完全順守した(GDT、EtDを使った)ガイドラインが1件登場した(例、てんかん診療ガイドライン 2018(第2部))。


(III) 調査したガイドラインの一覧

kokunai-cpg_0401.xlsx

注:このリストは、Mindsによる”お知らせ”に基づいているため、実際に出版されたガイドラインは明らかに多く、今後もMindsから逐次公開されていくことでしょう。
ただし、エビデンス総体に基づいたガイドラインの割合は、さらに低いものとなると想定されます。つまり、5%にも満たないでしょう。

「診療ガイドラインのためのGRADEシステム 第3版」の活用を強く推奨します。

 

2019年3月26日 Posted by admin

国内の診療ガイドラインで、GRADE遵守のものは?-(2)

  

国内の診療ガイドライン(CPG)に関して、以下の疑問を作成し、調べてみることにしました。

@-I.GRADEシステムが適切に使われたとする基準を満たす国内CPGはあるか
@-II.エビデンスの確実性(CoE)の評価がエビデンス総体(body of evidence)を対象としたCPGは本当に増えているのか
@-III.エビデンス総体のCoEに基づく国内CPGと個別エビデンスのCoEに基づく国内CPGを比較すると、(治療に関連するCQで)強い推奨の割合は異なるか

調査方法:
1.Mindsが定期的に「お知らせ」としてユーザーに送付している、Minds登録承認の診療ガイドラインに関して2016年以降(GRADE working groupがCoEに関してその概念を明確し、in pressとして論文が公開)でフリー閲覧可能なものをチェックする。

2.国内で多用されているMinds2014手引きの発表前に作成されたCPGと、2016年以降作成されたCPGを”ランダム”に抽出し(両群を最低30件)、両群にエビデンス総体使用の割合において統計的有意差があるか(ランダム番号発生と抽出は、方法#1の前に実施し、当該CPGが閲覧不可能ならば、次の候補に順次変更する)。

3. 個別エビデンスのCoEによるCPGについて、”強い推奨”の割合(各CQ)を事前に調査し、αエラー1%、検出力90%として、強い推奨の割合を50%にするサンプルサイズに基づいて、2種類のCPGを比較する。

ある程度まとまった時点で、途中の結果を報告していきます。

2019年3月25日 Posted by admin

アウトカムデータ欠損に関するRoB評価

  

結果の信頼性を低下させる参加者アウトカムデータの欠損(missing outcome data)に関連するバイアスのリスク(RoB)の程度は、すべてのシステマティックレビューの重要な問題です。
たとえば、高いRoBとして欠損データ10%という閾値を設定し、メタアナリシスにおける6件の研究のうち、3件は欠損データなし、3件は12%の欠損データを持つと仮定します。このような場合、どのようにして、エビデンス総体にわたって、参加者の欠損データによるRoBのための等級ダウンをすべきか否かを決定するのでしょうか?

アウトカムデータの欠損がある場合のRoB評価についてGRADEが提案している戦略(imputation:補完、代入)を解説しているものが、JCE GRADEシリーズの#17です。

GRADE guidelines 17: assessing the risk of bias associated with missing participant outcome data in a body of evidence. J Clin Epidemiol. 2017 Jul;87:14-22

GRADEが推奨するimputation戦略は、完了追跡参加者と比較した欠損データ参加者におけるアウトカム事象の発生率(relative incidence)を使うもので、欠損データを有する参加者間の未知のオッズと利用可能なデータを持つ参加者間の既知のオッズの関係を使うinformative missingness odds ratio(IMOR)と似たものです。

ここでは、missing outcome dataに対するGRADEによるRoB評価の3つの例を紹介します。

 
(1) RoBのグレードダウンなし

(Clostridium difficile感染を予防するためのプロバイオティクス)
20件のランダム化試験のうち13件で、参加者の5%〜45%がClostridium difficile感染に関するデータの欠損があった。
対照群ではアウトカムデータ欠損者と追跡成功者の間で、イベント発生率が同じであると仮定し、プロバイオティクス群では、アウトカムデータ欠損者の相対発症率(RI)をRIMPD/FU 1.5, 2.0, 3.0, 5.0という仮定を用いて調査した。結果は、各RIの仮定に対して頑健であることが証明され、RI=5.0でもプロバイオティクスの有益効果は大きく維持され、95%CIは狭い(相対リスク0.50 [0.34〜0.76])(図1)。
したがって、データ欠損によるRoBに関して、GRADEの等級ダウンなし

図1:Clostridium-difficile関連疾患を予防するためのプロバイオティクスの感度分析
統合値のみ表示。

注:各研究データを表示したフォレストプロットはprobiotics_Forest plot参照。
フォレストプロットは、自分でRevMan入力解析した結果ですが、実際の論文データとは若干数値が異なっています。論文著者のElieや解析実務者のBradleyなどに問い合わせましたが、データがすでに手元にないということでした。(^^;
臨床的には問題ないですが、おそらく、この表示データが正確と思います。


Available case analysis: Complete case analysis (excluding those with missing data) as the primary analysis.


(2) RoBのグレードダウンあり

(COPDにおけるチオトロピウム対長時間作用性β刺激薬)
4件のランダム化試験からなるシステマティックレビューで、アウトカムは”入院につながるCOPD悪化”である。著者はオッズ比0.87[0.77~0.99]を報告したが、参加者の5%から11%のデータが欠落していた。レビュー著者らは、エビデンスの質を評価するためにGRADEを使用し、欠損データによるRoBの結果としていずれのアウトカムについても等級ダウンとしなかった。完了ケース分析では、OR 0.83 [0.73、0.94]であった。
 
メタアナリシスの介入群での全体的なイベント発生率は16%であり、RIMPD/FU比が1.5, 2.0, 3.0の可能性があると考えた。 5.0のRIMPD/FUはありそうにないと考えられた(この場合、参加者の80%が悪化のために入院したであろう)。
統計的有意性は、RIMPD/FU2.0の仮定では境界であり(OR、0.89 [0.79〜1.00])、RIMPD/FU3.0では消失した(図2)。したがって、欠損データによるRoBのために等級ダウンあり

図2:安定したCOPDにおけるチオトロピウム対長時間作用性β刺激薬の感度分析


(3) RoBのグレードダウンあり

(COPDにおける運動訓練中の非侵襲的換気(Non-invasive ventilation:NIV))
2件のランダム化試験からなるシステマティックレビューで、アウトカムは”自転車エルゴメータの耐久時間の変化”である。完了ケース分析では、平均差58.68 [3.76〜113.59]であったが、2件の研究における参加者の21.6%と34.5%のデータが欠落していた。レビュー著者らは、GRADEを使用して、欠損データによるバイアスのリスクを低いと評価した。

GRADEのmissing dataに関するRoB評価指針にしたがって、欠損データに関する説得できる仮定を使って、RoBを再評価した。結果の頑健性は第1戦略(含まれている各試験の両群の欠落データの平均スコアは、検討中の試験の対照群の平均スコアと等しいと仮定)から失われた(平均差42.94 [-4.79 〜90.68])(図3)。
したがって、欠損データによるRoBのために等級ダウンあり

図3:COPDにおける運動トレーニング中のNIVの感度分析


 
これらの内容に関しては、GRADE3版のp49~p52「欠損データに関する補完解析と感度メタアナリシス」を参照ください。
一連の補完(代入)戦略においては、”plausible worst case”の仮定が重要です。

注:GRADE3e書籍のp52で記載した5つのデータソースに関して、書籍では”番号(1~5)”と列記していますが、”A~E”の間違いでした(原著論文、または出版社の正誤表を参照)。



 

2019年3月24日 Posted by admin

国内の診療ガイドラインで、GRADE遵守のもの?-(1)

  

国内の診療ガイドラインで、GRADE遵守のものを、5年前から探していますが、どうしてもみつけることができません。そこで、お願いです。
どなたか、これぞGRADEによる国内ガイドラインというものをご存じならば、下記に教えてください。

 ezy01757@nifty.ne.jp

対象は、海外ガイドラインではなく、国内ガイドラインです。

Mindsグループの方々にもお願いします。
該当する診療ガイドラインがありましたら、ぜひ教えてほしいです。
GRADEガイドライン作成の模範として紹介したいと思っています。