COSMIN ガイドライン:1.アウトカムの測定特性

2020年1月27日 Posted by aihara



患者報告アウトカム測定(Patient‐Reported Outcome Measures:PROM)の測定特性の包括的な概要が質の高い系統的レビューで提供されていると、特定の目的に最適なPROMの選択におけるエビデンスに基づいた推奨事項を支持します。

COSMIN(COnsensus‐based Standards for the selection of health Measurement INstruments)イニシアチブは、研究および臨床診療におけるアウトカム測定ツールの選択を改善することを目的としています。

2018年、PROMの系統的レビューのための包括的な方法論的ガイドライン(COSMINガイドライン)がCOSMINイニシアチブによって開発され、COSMINガイドラインにおける10ステップのうちの一つがCOSMIN Risk of Biasチェックリストです。

COSMINガイドラインの補足として、「患者報告アウトカム測定(PROM)の系統的レビューのためのCOSMIN方法論ユーザーマニュアル」があり、ここではCOSMINガイドラインおよびCOSMIN RoBチェックリストの概略をシリーズとして紹介します。

 

■測定特性の分類(COSMIN分類)
PROMの質を評価する際、3つのドメイン、信頼性妥当性反応性を区別します。各ドメインには、1つ以上の測定特性、つまり測定ツールの質側面が含まれています。信頼性ドメインには、内的一貫性、信頼性、測定誤差の3つの測定特性が含まれます。妥当性ドメインにも、内容妥当性(外観妥当性を含む)、構成概念妥当性(構成概念妥当性の仮説検定、異文化間妥当性)、基準妥当性の3つの測定特性が含まれる。反応性ドメインには、反応性とも呼ばれる1つの測定特性のみが含まれます(図)。

 

■測定特性の定義(ドメインのCOSMIN定義、測定特性、および測定特性の側面)(下表)

用語 定義
ドメイン 測定特性 測定特性の側面
信頼性 測定に測定誤差がない程度

信頼性(拡張定義)
変化していない患者のスコアの程度は、いくつかの条件下で繰り返し測定しても同じである。 同じPROMの異なる項目セットを使用する(内的一貫性)。経時的(検査-再検査); 同じ時点に異なる人(評価者間); または、同じ人(評価者または応答者)が異なる時点で(評価者内)。
内的一貫性 項目間の相互関係の程度
信頼性 患者間の「真」の違いによる測定値の総分散の割合
測定誤差 測定対象の構成概念(コンストラクト)の真の変化に起因するものではない、患者のスコアの系統的でランダムな誤差
信頼性 PROMが測定することを意図している構造概念を測定する程度
内容妥当性 PROMの内容が測定対象の構成概念を適切に反映する程度
外観妥当性 PROM(のアイテム)が実際に、測定される構成概念の適切な反映であるかのように見える程度
構成概念妥当性 PROMが測定される構成概念を有効に測定するという仮定に基づいて、PROMのスコアが仮説(たとえば、内部関係、他のツールのスコアとの関係、または関連する群間の差異に関して)と一致する度合い
構造的妥当性 PROMのスコアが、測定対象の構成概念の次元を適切に反映する程度
仮説検定性 構成概念妥当性の項目
異文化間妥当性 翻訳済みまたは文化的に適合したPROMの項目のパフォーマンスが、PROMの元のバージョンの項目のパフォーマンスを適切に反映している程度
基準妥当性 PROMのスコアが「ゴールドスタンダード」を適切に反映している程度
反応性 測定される構成概念の経時変化を検出するPROMの機能
基準妥当性 反応性の項目
解釈可能性性* 解釈可能性とは、PROMの定量的スコアまたはスコアの変化に、定性的な意味(臨床的または一般的に理解されている意味合い)を割り当てることができる程度である。
†「真」という言葉はCTT(Classical test Theory)の文脈で見る必要があり、これは、観測は2つの構成成分(観測に関連する真のスコアと誤差)で構成されていることを示している。「真」は、スケールに無限の回数が与えられた場合に得られる平均スコアである。それは、スコアの一貫性のみを指し、その正確さを指すものではない。

*解釈可能性は測定特性とは見なされないが、測定ツールの重要な特性である。

 

注:
有効性試験におけるコアアウトカム測定(COMET:Core Outcome Measures in Effectiveness Trials)イニシアチブ、COMET Initiativeは、さまざまな機関と協力して、COSに関するデータベースを作成公開しており、以下のように記載しています。
「Core Outcome set(COS)は、健康または医療の特定の領域におけるすべての臨床試験で、少なくとも測定および報告されるべき合意された標準化されたアウトカムのセットです」

COSMINは、COMETの共同イニシアチブで、COSに含まれるアウトカムの測定ツールに関して焦点を当てています。

 

Cochrane ハンドブック(version 6, 2019)全訳

2020年1月21日 Posted by aihara

Cochrane Handbook for Systematic Reviews of Interventionsを昨年11月に購入し、オンライン版を含めて、全パートおよび全26章を読んでみました。

さて、新版(version 6, 2019)では、旧版(5.1~5.2)と変わらないchapterもありますが、特に以下の変更があります。

***********************************************************
●Part1~Part4、online technical supportで構成
●ハンドブック全体でのCochrane’s Methodological Expectations for Cochrane Intervention Reviews:MECIR)。
●Cochrane Reviewの報告(第3章)、および更新(第4章)に関する拡大ガイダンス。
●適格基準の開発と各統合のためのPICO設定に関する新しいガイダンス(第3章)。
●バイアスのリスク評価:RoB 2.0 (RCT), ROBINS-I(非ランダム化試験など)(8章、25章)
●研究特性の要約と統合の準備に関する新しいガイダンス(第3章と第9章)。
●ネットワークメタアナリシスに関する新しいガイダンス(第11章)。
●メタアナリシス以外の方法を使用した結果の統合に関する新しいガイダンス(第12章)。
●結果の欠損(missing result)によるバイアスのリスクの評価に関する更新ガイダンス(第13章)。
●介入の複雑さに対処する新しいガイダンス(第17章)。
*************************************************************

2か月かけて全訳したら・・・ 700pにもなりましたが、残念ながら(日本語版としては)公開はできません。
各章のKey pointsだけでも紹介してもよいかと何度か問い合わせましたが無理でした。
今後、不定期に更新版の内容をブログやMLで紹介していきます。

 

当然ながら、いたるところに、GRADEシステムによる判断が必要となります。
システマティックレビューや診療ガイドラインを作る、使う、伝える、立場の方々には必須のものです。

エビデンス総体の確実性評価や、ガイドラインにおける推奨の強さを作成、理解する基本は、
医学文献ユーザーズガイド3版
診療ガイドラインのためのGRADEシステム3版
を参照してください。

 

imprecision(不精確さ)の評価のない診療ガイドライン

2020年1月17日 Posted by aihara

Mindsから以下のMinds承認ガイドラインが紹介されました(【Mindsからのお知らせ】No.447 2019.12.17)。
********************************
『歯科治療による下歯槽神経・舌神経損傷の診断とその治療に関するガイドライン』
https://minds.jcqhc.or.jp/n/med/4/med0379/G0001111
********************************

非常に深刻な問題があり、そのいくつかが以下です。
・エビデンスの確実性評価において、GRADEの最重要ドメインimprecisionの評価がありません。
・診断に関するCQにおいて、疾患確定者と健常者を比較し、診断精度検査アウトカムではなく、またNNT云々と記載。
・RoB(-1)と評価しているにもかかわらず、コホート研究のエビデンスの強さが”弱(C)”と評価。
・推奨評価の判断は不透明かつ不適切で、アウトカム全般にわたるエビデンスの確実性評価がないです。
・エビデンスプロファイルとして提示しているものは、GRADE, Mindsが推奨しているものではないです。

各CQにおけるimprecision評価やSoFでの効果サイズ提示などは以下です。

診断、治療、予後などに関するエビデンス総体の確実性評価や、推奨の強さを作成する基本は、医学文献ユーザーズガイド3版診療ガイドラインのためのGRADEシステム3版を参照してください。

 

GRADE center/networkのミッション

2020年1月9日 Posted by aihara

Minds Tokyo GRADE centerの設立については昨年紹介しました。

具体的な活動がどのようなものか知りませんが、国際的なレベルでは13番目のGRADE cencer/networkとなります。
一般にGRADE center/networkには、たとえば、以下のミッションがあります。

Mission of GRADE centers/networks
The mission of GRADE centers/networks is to help the GRADE working group in the training, promotion, dissemination and implementation of GRADE. Therefore a GRADE center/network should:

  • Develop effective actions to spread the use of GRADE methodology in health guidelines and systematic reviews through advocacy, training and support of guideline developers and review authors.
  • Provide methodological support to national, regional or professional organizations and guideline development programs.
  • Conduct workshops and graduate courses on GRADE application e.g. for students, residents, fellows and faculty members.
  • Conduct workshops and graduate courses on GRADE application e.g. for health science students, trainees, and faculty members.

ただし、以下の注意があります。

If a GRADE center/network does not have any activities to report over the preceding three years, the GGG (GRADE Guidance Group) will reserve the right to de-register the GRADE center/ network.

Minds Tokyo GRADE centerがそのミッションをはたすと、Mindsで承認され公開となる診療ガイドラインの質はどんどん向上するはずです。

 

GRADE jpのHPリニューアル

2018年12月11日 Posted by aihara

GRADE jpのHPをリニューアルしました。

●診療ガイドラインのためのGRADEシステム 第3版

●JAMA医学文献ユーザーズガイド 第3版

GRADE3e作成中

2017年8月29日 Posted by aihara

(7月から)GRADE第3版出版に向けて作業中です・・・
今回は、大手出版社からの依頼となりました。 (^^) 

しばらく、ブログ更新は休止です。

当院のプロフィール

2017年7月16日 Posted by aihara

当院のプロフィールを一部だけ変更しました。

当院のプロフィール

以前 UpToDate(UTD ver.18前後)に、がん治療の自家ワクチン(vs 肝細胞がん)に関する日本のRCTが掲載されていました。約40例のランダム化試験で、延命効果と再発抑制効果があるようだという内容でした。当時、その内容について当該会社とやりとりもしましたが、現在のUTDではその記事は消失しています。つまり、UTD編集者が、”臨床効果について信頼性がない”と判断したのでしょう。

サンプルサイズからしても、明らかにエビデンスの質としては、”不精確”なものでした。

でも、当院が、一部のサイトで、がんの免疫療法の実施医療機関にリストアップされているようであり、誤解を招く可能性が大きく、見つけ次第リストを削除していただくよう対処しています。

がん治療の専門医でもないし、当院では「がんの免疫療法は実施しておりません」・・・勘弁してほしい。

もっとも質の高いエビデンスで有効性が証明された場合には、考えないこともないですが、どなたか、システマティックレビューを実施してほしいです。

GRADE CPGの基本ー4.16:[CPG]エビデンスから推奨へ-⑬:エビデンスの確実性と推奨の決定-③ステップ-3ー(a1):総死亡

2017年7月5日 Posted by aihara

[GRADE-CPG解説資料-44]

完全コンテキスト化アプローチのステップ3です。

■ステップ1:各アウトカム(重大:7~9点)に関して、“患者の価値観と好み”を明確にする(http://aihara.la.coocan.jp/?p=5499
■ステップ2:(推奨に関する不確実性を考慮する前に)まずは“推奨の方向”を判断する(http://aihara.la.coocan.jp/?p=5509

■ステップ3:各アウトカムの確実性を考慮して、推奨に関する“不精確さ”を見直す
つまり懸案の重大アウトカムのエビデンスの確実性を他の重大なアウトカムと比較して、見直す作業です。
5つのアウトカムのうち、最も重大なアウトカムである「総死亡」の判断からスタートしてみます。

第1アウトカムについて:総死亡

3-1a:懸案のアウトカム(総死亡)の確実性はどうか

総死亡に関する絶対効果は、1000人あたり10人減少で、信頼区間の下限は23人増加、上限は39人減少である。
総死亡アウトカムに関するエビデンスは、RoBに深刻な限界があるが(-1)、非一貫性、非直接性、出版バイアスの問題がなく、“精確さ”の判断によってCoEが決まる。つまり起点としては、「中」である。

SRチームは、imprecisionなしと判断しました。対照群のイベント発生率(中央値)=23%
http://aihara.la.coocan.jp/?p=4837

 

3-1b:懸案のアウトカム以外(心筋梗塞、VTE、脳卒中、大出血)を考慮した場合、介入を推奨するだろうか

*(最良推定値である)点推定値に着目するとよいだろう。
1000人あたり、心筋梗塞 34人減少、VTE 33人減少、脳卒中6人減少、大出血5人増加であり、価値観を無視した点推定値だけをみても、68人の利益(絶対リスク減少)である。
脳卒中の価値観を考慮すると、74人の有益効果であり、「推奨する」という判断をするだろう。

 

3-1c:懸案のアウトカム(総死亡)の“不確実性”を考慮した場合、その推奨は変わるか
(このアウトカムの不確実性、つまり信頼区間を利用して当該推奨が変わるかどうかを判断する)

*懸案のアウトカムの信頼区間に着目する

・介入(トリプルX)が死亡にわずかに影響があるとすれば(信頼区間の下限=23人増加)、総死亡23人増加は、価値観(3倍)を考慮すると、69人の増加に相当する。この効果を、死亡以外の重大アウトカムに対する有益効果と比較すると、5人の利益であることから、推奨の方向は変わらず「推奨する」となるだろう。

・介入(トリプルX)が死亡に大きな影響があるとすれば(信頼区間の上限=39人減少、39人は価値観を考慮すると117人に相当)、有益効果196人(=117 + 34 +33 +12)は有害効果(大出血 -5)をはるかに上回っており、「推奨する」である。

つまり、懸案のアウトカムを考慮した際、信頼区間の下限と上限で決断は変わらないことから、閾値の基準を使った不精確によるグレードダウンとはならない。また、不精確さのもう一つの基準であるOISを満たしている。したがって、最終的なエビデンスの確実性は「中」のままである。

 

ここで注目すべき点は、死亡のアウトカムに関して、利益と害のバランスの不精確さについて判断を下す際に、厳密な閾値を設定する必要がないということです。信頼区間の下限と上限で、決断が異なるかどうかを判断するだけであり、GRADE working groupはこの手法を完全コンテキスト化アプローチと呼んでいます。

GRADE CPGの基本ー4.15:[CPG]エビデンスから推奨へ-⑬:エビデンスの確実性と推奨の決定-②ステップ-2

2017年6月21日 Posted by aihara

[GRADE-CPG解説資料-43]

完全コンテキスト化アプローチのステップ2です。

■ステップ1:各アウトカム(重大:7~9点)に関して、“患者の価値観と好み”を明確にする(http://aihara.la.coocan.jp/?p=5499

■ステップ2:(推奨に関する不確実性を考慮する前に)まずは“推奨の方向”を判断する
この判断には、効果の点推定値と関連する価値観と好みを利用します(注、点推定値は推奨の方向を示唆するが、不確実性について検討した後に、最終的な推奨が相反する方向になるかもしれない)。

5個の重大なアウトカムについて、点推定値(1000人あたりのリスク差)をみると、死亡-10、心筋梗塞-34、症候性VTE -33、脳卒中 -6、大出血 +5です。つまり、4個のアウトカムに関しては介入の有益性(青●)を示し、1個のアウトカムに関しては介入の有害性(赤●)を示しています。(図2)

従って、
●アウトカムの価値観を無視すると、利益と害のバランスは、
   (-10) + (-34) +(-33) + (-6) + (+5) = -78から、利益が害を上回っています。

●アウトカムの価値観を考慮すると(すなわち、死亡=3倍、脳卒中=2倍)、利益と害のバランスは、
   (-10)x3 + (-34) +(-33) + (-6)x2 + (+5) = -104 から、利益が害を上回っています。

従って、”典型的な患者であれば、トリプルXの推奨を支持するだろう”という方向の判断になります。

注:この判断はあくまで点推定値によるもので、効果推定値の”不精確さ”を考慮したものではありません。
推奨の強さと方向を決定する際には、アウトカム全般にわたる効果の不精確さを検討する必要があります。

 

図2 重大なアウトカムに関する点推定値


”アウトカムの確実性を考慮して(推奨作成のための効果推定値の不精確さ含め)、推奨の不確実性を検討する”とどうなるかというのが、次のステップ3です。

 

これまでの解説の一覧が以下です。
GRADE_CPG作成の基本の一覧

 

GRADE CPGの基本ー4.14:[CPG]エビデンスから推奨へ-⑬:エビデンスの確実性と推奨の決定-①ステップ-1

2017年6月14日 Posted by aihara

[GRADE-CPG解説資料-42]

エビデンスの確実性評価と推奨決定のためのステップに準じてスタートしてみましょう。

ステップ1:各アウトカム(重大:7~9点)に関して、“患者の価値観と好み”を明確にする

ガイドラインパネルが典型的な患者の価値観と好みの推定値を求めるには、患者の価値観と好みについて調べた関連する研究のシステマティック・レビューを実施するか、もしくは特定するのが理想的ですが、患者の価値観と好みを調べた実証的研究は少ないのが現状です。そのためこの判断には、患者や患者集団に対しての調査を行い、RANDなどを使って、価値観と好みに関する推定値を取得することになります。

Triple-X例におけるアウトカムに関する価値観は以下のように設定しました。

(典型的な患者であれば)死亡に対しては、心筋梗塞やVTE、非致死性脳卒中、NUD、大出血より大きな価値観を置くだろう
(実際のSR例では、典型的な心房細動の患者であれば、消化管大出血よりも脳卒中の回避に3倍の価値をおくと報告[AT9のSR])
本解説においては、他の重大なアウトカムと比較して、総死亡には3倍、脳卒中には2倍の価値をおくとして評価する。

注意すべき点は、CPG作成のためのスコープやCQ定式化において、暫定的にアウトカムの重要性を、1~9ポイントを使って3段階(重大、重要、重要でない)に評価しましたが、本ステップにおける「アウトカムの相対的な重要性」とは、重大なアウトカムを対象としています。

■Triple-X例における各アウトカムにおくdisutility/価値観の調査結果
http://aihara.la.coocan.jp/?p=5587&preview=true

アウトカム disutility relative value
1 総死亡 1.00 3
2 心筋梗塞 0.33 1
3 症候性VTE 0.33 1
4 非致死性脳卒中 0.66 2
5 大出血 0.33 1
6 治療の負担やコスト 0.01 0.03

 

■アウトカムに関する価値観や好みを調べる方法には、スタンダードギャンブル法、タイムトレード法、VAS (Visual Analogue Scale)法などの効用値を使ったものから、アンケート調査のような非効用値の量的研究、質的研究などさまざまものがあります。

例、
Zhang Y, et al. Using patient values and preferences to inform the importance of health outcomes in practice guideline development following the GRADE approach. Health Qual Life Outcomes. 2017; 15: 52.