Category: ‘不精確さ’

GRADE CPG作成の基本ー3.9:[SR]エビデンスの確実性-⑥:Imprecision-(1)

2016年8月23日 Posted by aihara

[GRADE-CPG解説資料-⑮]

グレードダウンの5ドメインの一つである、データの不精確さ(imprecision)の評価は、システマティックレビューと診療ガイドラインの場合で異なっているので、診療ガイドライン作成においては”不精確さ”を2段階で評価する必要があります。本解説シリーズの後半で解説しますが、GRADEを使った国内の診療ガイドラインの多くで、この評価がおろそかになっているように思います。

sr_8domain

システマティックレビューにおける2値アウトカムの不精確さを評価する際の基準が以下で、最適情報量(optimal information size: OIS)と信頼区間(confidential interval: CI)による閾値を利用します(GRADE2版の4.4-4.4.4.2章)。

■不精確さに関する評価基準(SR)


1 OIS の基準が満たされていない場合は,不精確さを理由にグレードダウンする。
2 OIS基準が満たされ,なおかつ95% CIが“ 効果なし” を含まない(すなわち,RRの信頼区間が1を含まない)ならば,不精確さを理由としたグレードダウンは行わない。
3 OIS 基準は満たされているが,95% CIが“ 効果なし” を含み(すなわちRRの信頼区間が1を含む),かつ信頼区間が重要な利益または重要な害を含むならば,不精確さを理由としたグレードダウンを行う。

GRADEでは、相当な利益や相当な害に関して、RRR=25%を使うことを推奨しています(ただし、SRチームが説得力のある根拠をもとに、より低いあるいはより高い閾値を設定することも可能です)。この基準を使って不精確さを評価すると、下図のようなパターンとなります(GRADE2版の図4.4-20を改変)。

■エビデンスの精確さと不精確さ(SR)

imprecision_0816

したがって、OIS基準とCI閾値基準の組合せによって以下の4通りの不精確さの評価(I,II,III,IVパターン)があります。
現時点のGRADEを使う限り、
システマティックレビュー(SR)におけるエビデンスの評価は、必ずこの4パターンのいずれかになるはずです。また、評価者によってが判定が異なるということは極めて稀です。

■精確さと不精確さに関する評価パターン(SR)
基準1と基準3に関して、”no”ならば、データは不精確(imprecision)と判定し、グレードダウンとなります。表からもわかるように、統計学的に”有意差なし”を含むかどうかだけでは、不精確さを評価することはできません。

基準 I II III IVa IVb IVc
1.OIS基準を満たす yes yes yes no no no
2.CIが”効果なし(RR=1)”を含まない yes no no yes no no
3.CIが”効果なし(RR=1)”を含むが、0.75 and/or 1.25を含まない yes no yes no
不精確さ(imprecision)の有無 なし なし あり あり あり あり

(本分類は、GRADE working groupが発表しているものではなく、今回の解説シリーズのために相原が独自に作成したものです。
タイプIVの亜型を追加したのは、設定したコントロールリスクの違いによりOIS評価が変わるようなボーダーラインの場合に閾値判定も有効かもしれないと考えたためです。)

これまでGRADEを使って診療ガイドラインを作成してきた担当者の皆様はどうでしょうか?
”統計学的に有意差がないので不精確だろう”と判断しているケースが多く、具体例を本解説シリーズ後半で紹介します。

では、トリプルXのCQにおいて設定したアウトカムについて、具体的にシステマティックレビューにおけるimprecisionを評価してみましょう。

注意:この評価は、システマティックレビューのimprecisionであり、診療ガイドラインにおけるimprecisionではないです。つまり、システマティックレビューのimprecision評価を、そのまま診療ガイドラインに適用することはできないという意味です(当たり前のことですが・・・・この当たり前のことが実際の診療ガイドラインにおいて十分に実施されていないわけです)。

 

GRADE JCEシリーズ -(6) エビデンスの質評価: 不精確さ(imprecision)

2013年2月27日 Posted by aihara

GRADEアプローチに関するJ Clinical Epidemiology(JCE)のGRADE series抄録を日本語翻訳して紹介します(JCEのGRADEシリーズ(全部で20数編)は、2011年より発表され、2013年1月時点で Part 13までが出版されています)。

JCE誌GRADE seriesの日本語翻訳(和訳:相原)とweb公開に関しては、Gordon Guyattと出版社(Elsevir Inc.)より許可を得ました。システマティックレビューや診療ガイドライン作成に関わる方々、あるいはEBMの上級編としての”エビデンスから推奨へ”というアプローチを学びたい方々にとって参考になると思いますのでご利用ください。

JCEシリーズの抄録翻訳pdfは、以下のサイトよりダウンロード可能です。
 GRADE JCEシリーズ

■pdf内容の一部(jce_6):
GRADEは、不精確さに関わる決断のための最適な主要アプローチは、95%信頼区間(CI: confidence interval)の検討であると提唱する。診療ガイドラインの場合、CIの下限vs.上限が真実を表している場合に診療行動が異なってくるならば、エビデンスの質(すなわち、効果推定値の確信性)の評価を下げる必要がある。
システマティック・レビューには、やや異なるアプローチが必要である。95% CIが相対リスク(RR: relative risk)1.0を除外し、なおかつ総イベント件数または患者数がOIS基準を上回る場合、精確さは十分である。

診療ガイドラインのためのGRADEシステム: 相原他、凸版メディア,2010)の、p56-59
GRADEガイドラン作成の流れ:解説資料の、p33も参照ください。

jce_6

データの不精確さ(imprecision): サンプルサイズとイベント数

2013年2月6日 Posted by aihara

Kyoto Heart Study撤回理由の統計解析の誤りに関連して追加して解説します。

診療ガイドラインのためのGRADEシステム(凸版メディア、相原他、2010年)(1.5-4章, p56-59)より

—————————————————————–
データの不精確さ(imprecision) とは,データのばらつきが大きい場合や対象患者数(サンプルサイズ)やイベント数が少ない場合に信頼区間の幅が広いことを指す。データの不精確さがあるとその研究結果についての確信は低くなり,そのためエビデンスの質は低下する。
risk of bias の項(第1 章,1.5.1「研究の限界」,46 頁)で記載したように,GRADE では,バイアス(系統誤差)を「研究の限界」の中で評価し,ランダム誤差をデータの不精確さとして評価する。信頼区間が広い場合はエビデンスの質が(不精確さのために)1 段階下がり(たとえば,「高」から「中」),信頼区間が非常に広い場合は2 段階下がる場合もある。

イベント数はある程度任意に設定可能だが,図1.5.4‒2a および図1.5.4‒2b は,不精確さを理由に評価を下げるべき閾値としては,RRR 25%以上の効果を得るためには,いかなる対照群イベント率における値でも,400 件以上のイベント数(図1.5.4‒2b 中の点線)が合理的であることを示している。このため,GRADE では,総イベント数は400 件,総サンプル数は4,000 という閾値を不精確さの判断基準の1 つとして設定している。なお,早期中止試験については,効果を理由とした早期中止試験においてイベント数100 件未満でRRR 50%以上という効果は信じるべきでない,という報告もある47)。
—————————————————————–

■図1.5.4‒2 対照群イベント発生率とRRRを変えた場合の総サンプルサイズ(左図a)および総イベント数(右図b)
samplesize


(書籍には、右図の総イベント数のスケールに誤植あり)

システマティックレビューや診療ガイドラインにおけるエビデンスの質をGRADEアプローチを使って評価する際に、どのような手順とするかというのが、下図です。

■図1.5.4‒3 システマティック・レビューとガイドラインにおける(2 値変数の)不精確さの評価83)
fig1.5.4-3


赤フォント部分は、GRADE JCEシリーズ #6 にて修正追加された内容です

したがって、Kyoto Heart Studyと似たようなデータを発表している論文データの不精確さを見抜くことは、(ある程度の統計知識があれば)難しいことではないと思います。

GRADEガイドライン作成の流れ: Item #-19: エビデンスの質:(グレードダウンの5要因) imprecision

2012年8月2日 Posted by aihara

データの不精確さ(imprecision)とは、データのばらつきが大きい場合や対象患者数(サンプルサイズ)やイベント数が少ない場合に信頼区間の幅が広いことを指す。
GRADE では、システマティック・レビューのエビデンスの質の定義と診療ガイドラインのエビデンスの質の定義を区別しているため、不精確さを理由にエビデンスの質評価のグレードを下げる基準もシステマティック・レビューと診療ガイドラインでは異なる。

参考
1. データの不精確さ (imprecision): GRADE教科書 p56-59
2. 2.スライド #57、 #60(GRADEシステムの使いかた ppt: 相原 2012)

スライド #57
imprecision


 

スライド #60
imprecision


 

シナリオにおける、2つのアウトカムに関する評価:
・全死亡率: no serious imprecision
・大出血: no serious imprecision