Category: ‘不精確さ’

CPGにおける決断閾値

2017年1月26日 Posted by aihara

推奨において、統合された効果推定値の精確さ(precision)をどのように考えるべきかについて説明します。第2の基準は、「閾値」です。「閾値」は、固定したものではなく、特に複数のアウトカムをあつかう場合は、アウトカムの価値観でも異なってきます。

一般臨床において、既存治療Aと新規治療Bを比較した場合、”統計的に有意差がないので新規治療Bを使わない”ということはありえないです。例えば、65歳以上の心房細動患者に対して、A=ワルファリンに比較して、B=新規のNOACが、脳塞栓予防効果において統計的に有意差がないので、NOACは使わないということはありえません。同じように、高血圧治療におけるCa拮抗剤 vs ARB、2型糖尿病におけるSGLT2 vs DPP4の例を考えて容易に想像できます。
つまり、実際の臨床においては、”同等性”あるいは”非劣性”ということで、新規薬剤が治療に使われるわけで、歯科領域でも例外ではありません。

この状況を図示したものが以下です。


図には、6種類の治療の効果推定値が示されています(アウトカムは各治療によって異なりますし、対照も無治療に限定というわけではないです)。ダイアモンド型の縦方向(上下)の最も幅広い部分が”点推定値”、横方向(左右)の幅は95%信頼区間(CI)に相当しています。

X軸の効果指標はRR, ORなどなんでもよいのですが、ここではRDあるいはMDとしています。

また、緑の縦点線は、”この効果以上ならば、当該治療を強く推奨する(ほとんどの患者に介入を実施)という閾値で、赤の縦点線は”これ以上の害が多いならば、当該治療を反対する強い推奨とする(ほとんどの患者に加入を控える)という閾値です。

さて、この6種類の治療について、実際の臨床においける推奨を考えみると、以下のようなものと思います。

治療Aは、効果を低くみても(95%CIの下限)、その効果は「利益の閾値(緑点線)」をしのぐもので、誰もが「治療実施(強い推奨)」となります。例えば、十二指腸潰瘍のHP除菌のような治療です。

一方、治療Fは、明らかに対照より効果が劣り有害であることを示しています。そして、害の効果を低くみても(95%CIの下限)、「害の閾値(赤の点線)」を上回っており、誰もが「介入反対(強い推奨)」となります。例えば、血友病などの出血傾向患者に対する抗血小板薬治療です。

治療Bは、統計的に有意な効果がありますが、わずかに「利益の閾値(緑点線)」をまたいでいます。しかし、点推定値はある介入に関する最良の効果推定値を表し、点推定値に近い値は点推定値から遠い値よりも真の効果を表している可能性が高いという認識からすると、右側にわずかにはみ出している部分は、推奨を決定する際には無視できるかもしれませんが、おそらく「治療実施(条件付きの推奨)」となります。

治療Eは、治療介入を推奨しないという方向以外は、治療とBと同じ考えです。限りなく有害ですが、もしかすると”害許容閾値以下の可能性もある”ことを信頼区間の左側が示しています。この治療を実施しても、対照と比較して効果はなく、害がない可能性があるというだけのことで、「治療反対(強い推奨)」となります。

治療Cは、点推定値は対照治療よりも優位ですが、信頼区間は”ゼロ”効果をまたいでいます。真の効果はおそらく”優れている”と思うものの、もしかすると”劣っている”かもしれないという意味です。しかし、効果なし(劣っている)といっても、その有害効果(信頼区間の右側)は、「害の閾値(赤の点線)」以下です。したがって、臨床においては「治療実施(条件付きの推奨)」となります。統計的に有意差がないので介入実施せずとはなりません。臨床で使われている多くの治療はこのグループと思います。

治療Dは、点推定値は対照治療よりも劣っていますが、信頼区間は”ゼロ”効果をまたいでいます。真の効果はおそらく”劣っている”と思うものの、もしかすると”優れている”かもしれないという意味です。点推定値だけをとると、「介入反対」ですが、他のアウトカム次第では、「介入の推奨」となるかもしれません。有害効果(信頼区間の右側)をみても、「害の閾値(赤の点線)」以下です。したがって、「治療反対(条件付きの推奨)」となりますが、その理由は”害”があるためではないです。

以上のように、推奨決定の際のimprecisionは、利益と害の大きさに関する閾値を考慮して判断する必要があります。

さて、出っ歯ガイドラインでは、矯正治療はどのようなものだったでしょうか。

 

小児の出っ歯は、7~11歳ごろに矯正治療を開始すべきか、早期青年期(11~16歳)に開始すべきか ー[2e]

2017年1月24日 Posted by aihara

GRADEドメインのimprecisionに関する評価です。比較は、早期矯正治療 vs 早期青春期矯正治療です。

SRにおけるエビデンスの不精確さ(imprecision)に関しては、2値アウトカムであれ連続アウトカムであれ、最適情報量(OIS)基準を第一として判定し、OISが満たされているならば「閾値」の基準を使って判断することになります(GRADE2版の4.4-4.4.4章)。

「閾値」はどうするのか、という疑問が生じるかもしれませんが、2値アウトカムのOISで解説したように、当該アウトカムに関して、どれほどの効果の大きさを”重要”と考えるかによって違ってきます。(明確な閾値がわからないならば)2値アウトカムでは、RRR=20~30%としました。同じように、連続アウトカムでは、最少重要差(minimal important difference: MID)を使うのが原則です。エキスパートならば、MIDを知っているだろうし、ほぼ共通した範囲の値があるはずです。もし、そのような明確な値がないということならば、戦略的には質的研究によってMIDに関する統合推定値を得る必要があります。

それでも、(連続アウトカムに関して明確な閾値がわからないならば)、SRチームは、SMDを使う手段があります。CohenあるいはHedgesのSDとして、0.2=小さい効果、0.5=中等度の効果、0.8=大きな効果、という指標です(この点についても、GRADE2版のp79脚注に記載しています)。
Cochrane Handbookには、<0.4=小さい効果、0.4~0.7=中等度の効果、>0.7=大きな効果、とする基準も記載されています。

なお、SRやCPGにおいては、連続アウトカムに関するエビデンスや推奨を記載するならば、mean difference(MD)だけではなく、対照群あるいは治療群の有効性(無効、不変を加味した)をも記載する必要があります。なぜなら、読者は、提示しているMDの臨床的意義を把握することが難しくなるからで、平均値だけでは誤解する可能性が大きくなります。

さて、出っ歯ガイドラインでのSRチームはどのような判断でしょうか。

④imprecisionに関する評価

(SRチーム)
不精確さに関しては、機能的矯正装置もヘッドギアも”深刻な不精確さなし”。

この判断は、GRADEの基準からすると(基本的には)誤っていると思います。

OIS基準:
(1) 機能的矯正装置群では、総数343人、ヘッドギア群では総数238人(補完なし)~285人(補完あり)で、総サンプル数>400件という基準を満たしていないので、imprecisionあり(-1)です。

(2) そんなアバウトな計算ではなくもっと厳格に判断したいというかたは、たとえば、ヘッドギア治療の場合には、2件の研究からの統合標準偏差とMIDを使って算出される平均差を使って、サンプルサイズを計算することも可能です。ヘッドギアの場合は、MID=0.2 SDとすると、overjetの差として9mm vs 8.7mmほどとなり、この差をα=0.05、β=0.2で検出するためのサンプルサイズは、総数686人(各群343人)となり、imprecisionあり(-1)です。
MID=0.3 SDならば、総数388人です。いずれのMIDを使っても、不精確さの評価は変わりません。

OIS基準が満たされていない以上は、第2の基準である「閾値」に関して評価する必要性はないことになります。
しかし、”もしOISが満たされていた場合(例、MIDを0.4 SDに設定)”の閾値の考え方を説明すると、以下のような判断になります。

閾値:
効果推定値が設定したMIDをまたいでいるならば、imprecisionあり(-1)です。MIDがわからないという場合は、”中等度の効果(Δとして0.5 SD)”をまたいでいるならば、imprecisionあり(-1)です。

さて、ヘッドギアの治療に関する効果推定値は、補完(imputation)ありなしで(つまり脱落例を考慮するかで)、違っていました(2c: inconsistency参照)。したがって、本例では、2つのケースで考える必要があります。


上図はヘッドギアの効果を、imputationありなしで比較したものです(2C: inconsistency)。コクランCDSR著者やSRチームが採用したように、上段のimputation(-)では、統合効果推定値(緑の菱形)は、SMD=-0.18で(最大でも-0.24)小さな効果です。信頼区間は、中央の黒の縦線の、”効果なし”を含んでいるものの、最少重要差(MID)を示す赤と緑の縦点線をまたいでいないことから、”不精確さなし”と判断します。

一方、下段のimputation(+)では、点推定値は-0.46と中等度の効果で、最大-0.77の大きな効果の可能性を示しています。SRにおいては、信頼区間が”効果なし”の中央の黒の縦線をまたいでいないため、”不精確さなし”と判断します。
ただし、SRにおけるこの判断は、CPGにおいて推奨を決定する際には、(一般的に、推奨作成では他のアウトカムを考慮するので)、変わってくるかもしれません。なぜならば、治療介入による利益は、MID-B(左の緑点線: benefit)をまたいでいることから、臨床的な最少重要差“以下”の可能性もあります。
なお、ここで提示している補完例は、介入群にワーストシナリオを、対照群にベストシナリオを選択した”保守的な”判断(strategy2)です。つまり、補完で有意差があれば、介入治療の効果は真の効果を示す可能性が高いという意味ですが、しかし補完によって”精度”が高まっているとはいえないようです。

【私の判断】
・ヘッドギア矯正(早期vs早期青年期):imprecisionによる rate down (-1)
・機能的矯正(早期vs早期青年期):imprecisionによる rate down (-1)

等級ダウンの理由は、OISを満たしていないから(<400)。

さて、imprecisionを評価して、初めて本アウトカムに関するエビデンスの確実性が1段階低下したことになりますが、このimprecisionの評価において、RoBやinconsistencyの評価がimprecisionとも関連していることに気づいていただけたと思います。このようなことから、単純に、RoB(-1) + inconsistency (-1) + imprecision (-1)があっても、(-1) + (-1) + (-1) = (-3)とはすべきでないということです。この点はGRADE2版においても明記しています。

でもって、現時点のGRADEエビデンスプロファイルは以下のようなものになり、imprecisionに関する等級ダウンの説明を、脚注に示すことになります。


ここまで読んだあなたは、相当に連続アウトカムのGRADE評価に興味を持っていると思います。(^^;
なので、あえて注意します。

(一般に)SRにおけるimprecision(不精確さ)の判断は、そのまま、CPGには適用できません」。

推奨作成においては、他の”重大な”アウトカムを考慮して、さらに高度な検討が必要となります(たまたま今回は、重大なアウトカムがOverjetの一つだけです)。出っ歯ガイドラインでは、そこまで考える必要はないので、この点については、別のGRADE診療ガイドラインを使って解説します。

GRADEの等級ダウンに関するドメインの最後が、出版バイアス(publication bias)です。

 

GRADE CPG作成の基本ー3.18:[SR]エビデンスの確実性-⑥:Imprecision-(3)/逐次解析

2016年9月1日 Posted by aihara

[GRADE-CPG解説資料-24]

http://aihara.la.coocan.jp/?p=3920で紹介したTrial Sequential Analysis(逐次解析)を使って、トリプルXに関するアウトカムのいくつかを統計学的に調べてみます。
非GRADEの統計学者は、おそらく以下のような解析をすることでしょうし、もちろんこれも間違いではないですし、当然ながら、対照群のイベント発生率の違いからOISに関する結果もやや異なっています。

利用する統計ソフトは、STATA (コマンドmetacumbounds)とR(パッケージforeign, ldbounds)です。

■アウトカム:心筋梗塞

結果:Z曲線は情報量(information size)に達する前にmonitoring boundary(赤線)と交差しており、効果に確固たるエビデンスを提供している(真陽性)

tsa-mi

APIS: Information size calculated from an a priori assumed intervention effect

■アウトカム:ディスペプシア

結果:Z曲線はZ=1.96の横点線と交差し有意な結果であるが、monitoring boundary(赤線)と交差していないため偽りの効果である(偽陽性)
TSAにおいては、コントロールイベント率を対照群の[総イベント数/総数]から算出しています。イベント発生率が少ない場合のOISに関する考えはGRADE2版を参照ください。

tsa-fd

■アウトカム:総死亡

結果:必要情報量を満たしているにもかかわらず、事前に設定した効果はない(真陰性)

tsa-mortality

■アウトカム:脳卒中

結果:Z曲線はZ=1.96の横点線と交差しておらず、エビデンスが欠如していることを示す。すなわち、当該メタアナリシスは、必要情報量より患者が少ない(偽陰性)

tsa-stroke

■アウトカム:小出血

結果:Z曲線はZ=1.96の横点線と交差し有意な結果であるが、monitoring boundary(赤線)と交差していないため偽りの効果である(偽陽性、図a)。また、AISをみることで、検出力が低いこと(power=24%)がわかる(図b)。

図a

tsa-minor_bleeding-1

図b

tsa-minor_bleeding-2

AIS:Accrued information size (=N), the total number of participants in the meta-analysis.

 

GRADE JCEシリーズ -(6) エビデンスの質評価: 不精確さ(imprecision)

2013年2月27日 Posted by aihara

GRADEアプローチに関するJ Clinical Epidemiology(JCE)のGRADE series抄録を日本語翻訳して紹介します(JCEのGRADEシリーズ(全部で20数編)は、2011年より発表され、2013年1月時点で Part 13までが出版されています)。

JCE誌GRADE seriesの日本語翻訳(和訳:相原)とweb公開に関しては、Gordon Guyattと出版社(Elsevir Inc.)より許可を得ました。システマティックレビューや診療ガイドライン作成に関わる方々、あるいはEBMの上級編としての”エビデンスから推奨へ”というアプローチを学びたい方々にとって参考になると思いますのでご利用ください。

JCEシリーズの抄録翻訳pdfは、以下のサイトよりダウンロード可能です。
 GRADE JCEシリーズ

■pdf内容の一部(jce_6):
GRADEは、不精確さに関わる決断のための最適な主要アプローチは、95%信頼区間(CI: confidence interval)の検討であると提唱する。診療ガイドラインの場合、CIの下限vs.上限が真実を表している場合に診療行動が異なってくるならば、エビデンスの質(すなわち、効果推定値の確信性)の評価を下げる必要がある。
システマティック・レビューには、やや異なるアプローチが必要である。95% CIが相対リスク(RR: relative risk)1.0を除外し、なおかつ総イベント件数または患者数がOIS基準を上回る場合、精確さは十分である。

診療ガイドラインのためのGRADEシステム: 相原他、凸版メディア,2010)の、p56-59
GRADEガイドラン作成の流れ:解説資料の、p33も参照ください。

jce_6

データの不精確さ(imprecision): サンプルサイズとイベント数

2013年2月6日 Posted by aihara

Kyoto Heart Study撤回理由の統計解析の誤りに関連して追加して解説します。

診療ガイドラインのためのGRADEシステム(凸版メディア、相原他、2010年)(1.5-4章, p56-59)より

—————————————————————–
データの不精確さ(imprecision) とは,データのばらつきが大きい場合や対象患者数(サンプルサイズ)やイベント数が少ない場合に信頼区間の幅が広いことを指す。データの不精確さがあるとその研究結果についての確信は低くなり,そのためエビデンスの質は低下する。
risk of bias の項(第1 章,1.5.1「研究の限界」,46 頁)で記載したように,GRADE では,バイアス(系統誤差)を「研究の限界」の中で評価し,ランダム誤差をデータの不精確さとして評価する。信頼区間が広い場合はエビデンスの質が(不精確さのために)1 段階下がり(たとえば,「高」から「中」),信頼区間が非常に広い場合は2 段階下がる場合もある。

イベント数はある程度任意に設定可能だが,図1.5.4‒2a および図1.5.4‒2b は,不精確さを理由に評価を下げるべき閾値としては,RRR 25%以上の効果を得るためには,いかなる対照群イベント率における値でも,400 件以上のイベント数(図1.5.4‒2b 中の点線)が合理的であることを示している。このため,GRADE では,総イベント数は400 件,総サンプル数は4,000 という閾値を不精確さの判断基準の1 つとして設定している。なお,早期中止試験については,効果を理由とした早期中止試験においてイベント数100 件未満でRRR 50%以上という効果は信じるべきでない,という報告もある47)。
—————————————————————–

■図1.5.4‒2 対照群イベント発生率とRRRを変えた場合の総サンプルサイズ(左図a)および総イベント数(右図b)
samplesize


(書籍には、右図の総イベント数のスケールに誤植あり)

システマティックレビューや診療ガイドラインにおけるエビデンスの質をGRADEアプローチを使って評価する際に、どのような手順とするかというのが、下図です。

■図1.5.4‒3 システマティック・レビューとガイドラインにおける(2 値変数の)不精確さの評価83)
fig1.5.4-3


赤フォント部分は、GRADE JCEシリーズ #6 にて修正追加された内容です

したがって、Kyoto Heart Studyと似たようなデータを発表している論文データの不精確さを見抜くことは、(ある程度の統計知識があれば)難しいことではないと思います。

GRADEガイドライン作成の流れ: Item #-19: エビデンスの質:(グレードダウンの5要因) imprecision

2012年8月2日 Posted by aihara

データの不精確さ(imprecision)とは、データのばらつきが大きい場合や対象患者数(サンプルサイズ)やイベント数が少ない場合に信頼区間の幅が広いことを指す。
GRADE では、システマティック・レビューのエビデンスの質の定義と診療ガイドラインのエビデンスの質の定義を区別しているため、不精確さを理由にエビデンスの質評価のグレードを下げる基準もシステマティック・レビューと診療ガイドラインでは異なる。

参考
1. データの不精確さ (imprecision): GRADE教科書 p56-59
2. 2.スライド #57、 #60(GRADEシステムの使いかた ppt: 相原 2012)

スライド #57
imprecision


 

スライド #60
imprecision


 

シナリオにおける、2つのアウトカムに関する評価:
・全死亡率: no serious imprecision
・大出血: no serious imprecision