Category: ‘GRADEシステム’

Risk of bias評価における不一致の検討:K値

2019年3月22日 Posted by admin

なんらかの意思決定には常に合意形成が必要で、例えば診療ガイドライン(CPG)におけるエビデンスの確実性につながるバイアスのリスク(RoB)も同様です。システマティックレビュー(SR)を2~3人で実施したとしても、ガイドライン作成チーム全体で見直したところ、さまざまな評価となって、メンバー内の意見の一致がどの程度かを客観的に判断できないという状況があり得ます。

そのような場合には、合意の程度と(非合意があるならば)不一致項目を知る必要があり、そのための判断ツールを紹介したいと思います。なお、この手法は、他のどこかで発表されているものではなく、その妥当性も検証されていませんので、利用や解釈は各自で検討をお願いします。

仮想ランダム化臨床試験におけるRoB評価の一致率
方法:
(1) ある研究のRoBを、SRチームを含めたパネルメンバー10人でコクランRoBを使って評価する。
RoB評価は、以下のCochrane (RoB2) の6ドメインに従う。
 

#1: ランダム化プロセスのRoB
 
#2: 意図した介入からの逸脱によるRoB(介入への割り付けの影響)
 
#3: 意図した介入からの逸脱によるRoB(介入への遵守の影響)
 
#4: アウトカムデータ欠損によるRoB
 
#5: アウトカム測定によるRoB
 
#6: 報告結果の選択におけるRoB
 

(2) 全メンバーによる研究のRoB評価を、Cohen Kappa (K)の一致率をR(*)、STATA(**)を使って解析処理する。
具体的には、6つのドメインにおけるRoBに関して、Low=1、 Some concerns=2、High=3とスコア化し、10人のメンバーの評価について全体の一致度、および各ドメイン評価の全体評価への影響力をleave-one-out design解析(あるドメイン評価を除外しての全体の一致率を評価する)で判定する。

この解説において用意した仮想データは以下である。
すなわち、ドメイン#6は全員の評価が完全に一致しているが、その他のドメイン(#1~5)は評価にばらつきがある。

結果:
統計ソフトRを使ってCohen kappa値(***)を算出すると、全ドメインに関する評価のK値は0.58で、“中程度の一致”であった。


RoBドメインの行番号を除いたCohene係数を降順に表示したものが以下である。
すなわち、”ドメイン#4や#3の評価を”解析から除外すると”全体のkappa係数がさらに大きくなり、全体の一致率の低下にドメイン#4や#3が大きく寄与していることが分かる。逆に”ドメイン#1や#6を除外すると”、全体の一致率としてのK値が低下する。
このことから、ドメイン#4, #3が全体評価の一致率低下に影響を及ぼしている可能性が高いと判断できる。
 


この結果をより分かりやすく提示したものが以下である。
ドメイン#4の評価結果を”除外すると”、全体の一致率としてのK値は0.63に上昇する。ドメイン#5や#6を除外すると、全体の一率(K)は0.5台に低下する。
つまり、“かなりの一致(K値>0.6)”を、“中程度の一致(0.4~0.6)”に低下させている因子は、#4と#3だろうと考えられた。


結論:
上記から、全体の評価の一致率(K)が中等度もしくは低い場合には、このようなleave-one-out design手法を使って、一致率低下に関与しているドメインを客観的にピックアップすることができる。
また、RoB評価に際しては、場合によっては(2~3人による評価ではなく)より多くのCPG関連メンバーによるRoB評価と合意が必要であり、そのための判断の一致率評価が必須だろう。

 

*:この解析で使用したKappa(Cohen. Siegel)一致率は、私の友人の對馬栄輝先生(弘前大学大学院 保健学研究科 総合リハビリテーション科学領域、http://personal.hs.hirosaki-u.ac.jp/~pteiki/)に作成していただきました。R-code

**:STATAコマンドadmetan

***:Cohenの一致率は、医学文献ユーザーズガイド3版の19.3章、あるいは、
診療ガイドラインのためのGRADEシステム第2版の追加資料-8を参照。

 

GRADE3版の電子書籍版

2019年2月25日 Posted by admin

診療ガイドラインのためのGRADEシステム第3版の電子書籍版が販売開始になりました。

電子書籍の利用には、iPad, iPhone, Androidタブレットのいずれかの端末が必要となります。PCで読むことはできません。

既購入者は、電子書籍ダウンロード用シリアル番号を使って、M2PLUS(会員登録必要:無料)より、ダウンロード可能です。

 

電子書籍(M2PLUS)利用までの流れ(★M2PLUS_steps.pdf)を参照ください。

 

乳幼児の睡眠時の姿勢と乳幼児突然死症候群

2019年2月16日 Posted by admin

前回解説した、乳幼児の睡眠時の姿勢と乳幼児突然死症候群(sudden infant death syndrome: SIDS)について、書籍 FACT FUlNESS (ハンス・ロスリングら、2019)でも記載されている部分を(一部省略して)紹介します。

第6章、パターン化本能:「一つの例がすべての当てはまる」という思い込みより)

**************************************************************************************
第2次世界大戦と朝鮮戦争を通じて、戦場から担架で運ばれてくる兵士の中で、仰向けよりもうつぶせのほうが生存率が高いことに、現場の医師や看護師は気づいた。仰向けに寝ていると、自分の吐しゃ物で窒息することが多かったのだ。

うつ伏せになっていると吐しゃ物が口の外に出て、気道はふさがれない。この発見により、兵士を含めて数百万人もの命が救われた。それ以来、うつぶせの「回復体位」が世界標準になった。

しかし、この新たな発見が、当てはめてはいけないケースにまで当てはめられてしまった。うつぶせ寝の効果が証明されたことから、1960年代にはこれまでと正反対の慣習が進められるようになった。昔からの慣習と違って、赤ちゃんはうつ伏せに寝かせたほうがいい、とされるようになったのだ。

赤ちゃんも救命が必要な患者も、いっしょたにしてはいけないものをひとくくりにしてしまったのだ。

赤ちゃんの突然死は減るどころか増えていることデータが示されても、その原因がうつ伏せ寝にあることに誰も気づかなかった。

初めてそれを指摘したのは香港の小児科医グループで、1985年になってからのことである。その指摘があったあとも、ヨーロッパの医師はあまり気にしていなかった。スウェーデンの医学界が間違いを認め方針を変えたのは、それから7年も経ってのことだった。

意識のない兵士と違って、寝ている赤ちゃんは反射神経がきちんと働いて、仰向けでも横を向いて吐き出せる。しかし、筋力が未発達の赤ちゃんの場合は、うつぶせになっていると、自力で重い頭を反り返させて気道を確保することができない。
********************************************************************************************

あおむけ寝「Back to Sleep」キャンペーンは米国では1992~1994年から開始され、日本では、1998年からスタートした。

GRADEシステムによるエビデンスの確実性(certainty of evidence)は・・・ 「Moderate(中)」
診療ガイドラインのためのGRADEシステム第3版(p72参照)

 

「GRADE Approach」が Meshに!

2019年1月31日 Posted by admin

「GRADE Approach」が、Medline MeSHの一部になりました!

https://meshb.nlm.nih.gov/record/ui?ui=D000077002

GRADE working groupの影響力は強い。



 

GRADE jpのHPリニューアル

2018年12月11日 Posted by aihara

GRADE jpのHPをリニューアルしました。

●診療ガイドラインのためのGRADEシステム 第3版

●JAMA医学文献ユーザーズガイド 第3版

EBMとGRADEの理解のために

2018年12月5日 Posted by admin

今月JAMA3eとGRADE3eを出版することができますが、国内のGRADEシステムの利用を見る限り、EBMの原点にそった適切なGRADE活用とは考えられない現状です。
(「診療ガイドラインのためのGRADEシステム 第2版(2015)」で記載した原則さえ遵守されていません)

一方、GRADE working groupの活動によるGRADEシステムの進展はすさまじく、国内認識とのギャップはますます大きくなっています。

乖離につながっている理由を一つ一つ挙げてもきりがないので、むしろ、GRADEを利用した国内診療ガイドラインを一定の基準で評価することが問題を把握できて最も適切な手段と考えます。

国内の診療ガイドラインのいくつかについては、これまでも評価を開示してきました。
http://www.grade-jpn.com/jp_grade/japanese_grade_cpg.html

しかしながら、このリンクサイトの容量の問題から、今後は本ブログで診療ガイドライン(Mindsが承認し公開)を主体として、GRADE methodologistの視点で評価していきます。

GRADEを使うことは、単に診療ガイドラインに限定するものではなく、システマティックレビュー、医療技術評価、迅速推奨、診断研究スクリーニング、予後研究、ネットワークメタアナリシス、質的研究などを含めたあらゆる臨床研究に共通する理解が要求されます。

疑問がある方は、以下読んでみることを強くお勧めします。

●医学文献ユーザーズガイド 第3版
●診療ガイドラインのためのGRADEシステム 第3版

GRADE(第3版)と医学文献ユーザーズガイド(第3版)

2018年11月28日 Posted by admin

何件か出版に関する問い合わせがあったので、発表します。

●診療ガイドラインのためのGRADEシステム 第3版
●医学文献ユーザーズガイド 第3版(翻訳版)

これらの書籍は、いずれも、中外医学社より、12月中旬に同時に出版予定です。

GIN-McMasterガイドライン作成チェックリスト

2018年9月15日 Posted by admin

GIN-McMasterガイドライン作成チェックリスト(GDC: Guideline Development Checklist)翻訳版(*)が公開されました。用語集その他へのリンクはまだ公開されていないようです。

https://cebgrade.mcmaster.ca/GDCtranslations/guidelinechecklistjapanese.pdf

*Mindsグループと私が実施したものです。
*CMAから許可を得て、今後出版のGRADE3版においても紹介しています。

GRADE CPGの基本ー4.16:[CPG]エビデンスから推奨へ-⑬:エビデンスの確実性と推奨の決定-③ステップ-3ー(a1):総死亡

2017年7月5日 Posted by aihara

[GRADE-CPG解説資料-44]

完全コンテキスト化アプローチのステップ3です。

■ステップ1:各アウトカム(重大:7~9点)に関して、“患者の価値観と好み”を明確にする(http://aihara.la.coocan.jp/?p=5499
■ステップ2:(推奨に関する不確実性を考慮する前に)まずは“推奨の方向”を判断する(http://aihara.la.coocan.jp/?p=5509

■ステップ3:各アウトカムの確実性を考慮して、推奨に関する“不精確さ”を見直す
つまり懸案の重大アウトカムのエビデンスの確実性を他の重大なアウトカムと比較して、見直す作業です。
5つのアウトカムのうち、最も重大なアウトカムである「総死亡」の判断からスタートしてみます。

第1アウトカムについて:総死亡

3-1a:懸案のアウトカム(総死亡)の確実性はどうか

総死亡に関する絶対効果は、1000人あたり10人減少で、信頼区間の下限は23人増加、上限は39人減少である。
総死亡アウトカムに関するエビデンスは、RoBに深刻な限界があるが(-1)、非一貫性、非直接性、出版バイアスの問題がなく、“精確さ”の判断によってCoEが決まる。つまり起点としては、「中」である。

SRチームは、imprecisionなしと判断しました。対照群のイベント発生率(中央値)=23%
http://aihara.la.coocan.jp/?p=4837

 

3-1b:懸案のアウトカム以外(心筋梗塞、VTE、脳卒中、大出血)を考慮した場合、介入を推奨するだろうか

*(最良推定値である)点推定値に着目するとよいだろう。
1000人あたり、心筋梗塞 34人減少、VTE 33人減少、脳卒中6人減少、大出血5人増加であり、価値観を無視した点推定値だけをみても、68人の利益(絶対リスク減少)である。
脳卒中の価値観を考慮すると、74人の有益効果であり、「推奨する」という判断をするだろう。

 

3-1c:懸案のアウトカム(総死亡)の“不確実性”を考慮した場合、その推奨は変わるか
(このアウトカムの不確実性、つまり信頼区間を利用して当該推奨が変わるかどうかを判断する)

*懸案のアウトカムの信頼区間に着目する

・介入(トリプルX)が死亡にわずかに影響があるとすれば(信頼区間の下限=23人増加)、総死亡23人増加は、価値観(3倍)を考慮すると、69人の増加に相当する。この効果を、死亡以外の重大アウトカムに対する有益効果と比較すると、5人の利益であることから、推奨の方向は変わらず「推奨する」となるだろう。

・介入(トリプルX)が死亡に大きな影響があるとすれば(信頼区間の上限=39人減少、39人は価値観を考慮すると117人に相当)、有益効果196人(=117 + 34 +33 +12)は有害効果(大出血 -5)をはるかに上回っており、「推奨する」である。

つまり、懸案のアウトカムを考慮した際、信頼区間の下限と上限で決断は変わらないことから、閾値の基準を使った不精確によるグレードダウンとはならない。また、不精確さのもう一つの基準であるOISを満たしている。したがって、最終的なエビデンスの確実性は「中」のままである。

 

ここで注目すべき点は、死亡のアウトカムに関して、利益と害のバランスの不精確さについて判断を下す際に、厳密な閾値を設定する必要がないということです。信頼区間の下限と上限で、決断が異なるかどうかを判断するだけであり、GRADE working groupはこの手法を完全コンテキスト化アプローチと呼んでいます。

GRADE CPGの基本ー4.15:[CPG]エビデンスから推奨へ-⑬:エビデンスの確実性と推奨の決定-②ステップ-2

2017年6月21日 Posted by aihara

[GRADE-CPG解説資料-43]

完全コンテキスト化アプローチのステップ2です。

■ステップ1:各アウトカム(重大:7~9点)に関して、“患者の価値観と好み”を明確にする(http://aihara.la.coocan.jp/?p=5499

■ステップ2:(推奨に関する不確実性を考慮する前に)まずは“推奨の方向”を判断する
この判断には、効果の点推定値と関連する価値観と好みを利用します(注、点推定値は推奨の方向を示唆するが、不確実性について検討した後に、最終的な推奨が相反する方向になるかもしれない)。

5個の重大なアウトカムについて、点推定値(1000人あたりのリスク差)をみると、死亡-10、心筋梗塞-34、症候性VTE -33、脳卒中 -6、大出血 +5です。つまり、4個のアウトカムに関しては介入の有益性(青●)を示し、1個のアウトカムに関しては介入の有害性(赤●)を示しています。(図2)

従って、
●アウトカムの価値観を無視すると、利益と害のバランスは、
   (-10) + (-34) +(-33) + (-6) + (+5) = -78から、利益が害を上回っています。

●アウトカムの価値観を考慮すると(すなわち、死亡=3倍、脳卒中=2倍)、利益と害のバランスは、
   (-10)x3 + (-34) +(-33) + (-6)x2 + (+5) = -104 から、利益が害を上回っています。

従って、”典型的な患者であれば、トリプルXの推奨を支持するだろう”という方向の判断になります。

注:この判断はあくまで点推定値によるもので、効果推定値の”不精確さ”を考慮したものではありません。
推奨の強さと方向を決定する際には、アウトカム全般にわたる効果の不精確さを検討する必要があります。

 

図2 重大なアウトカムに関する点推定値


”アウトカムの確実性を考慮して(推奨作成のための効果推定値の不精確さ含め)、推奨の不確実性を検討する”とどうなるかというのが、次のステップ3です。

 

これまでの解説の一覧が以下です。
GRADE_CPG作成の基本の一覧