Category: ‘risk of bias’

アウトカムデータ欠損に関するRoB評価

2019年3月25日 Posted by admin

結果の信頼性を低下させる参加者アウトカムデータの欠損(missing outcome data)に関連するバイアスのリスク(RoB)の程度は、すべてのシステマティックレビューの重要な問題です。
たとえば、高いRoBとして欠損データ10%という閾値を設定し、メタアナリシスにおける6件の研究のうち、3件は欠損データなし、3件は12%の欠損データを持つと仮定します。このような場合、どのようにして、エビデンス総体にわたって、参加者の欠損データによるRoBのための等級ダウンをすべきか否かを決定するのでしょうか?

アウトカムデータの欠損がある場合のRoB評価についてGRADEが提案している戦略(imputation:補完、代入)を解説しているものが、JCE GRADEシリーズの#17です。

GRADE guidelines 17: assessing the risk of bias associated with missing participant outcome data in a body of evidence. J Clin Epidemiol. 2017 Jul;87:14-22

GRADEが推奨するimputation戦略は、完了追跡参加者と比較した欠損データ参加者におけるアウトカム事象の発生率(relative incidence)を使うもので、欠損データを有する参加者間の未知のオッズと利用可能なデータを持つ参加者間の既知のオッズの関係を使うinformative missingness odds ratio(IMOR)と似たものです。

ここでは、missing outcome dataに対するGRADEによるRoB評価の3つの例を紹介します。

 
(1) RoBのグレードダウンなし

(Clostridium difficile感染を予防するためのプロバイオティクス)
20件のランダム化試験のうち13件で、参加者の5%〜45%がClostridium difficile感染に関するデータの欠損があった。
対照群ではアウトカムデータ欠損者と追跡成功者の間で、イベント発生率が同じであると仮定し、プロバイオティクス群では、アウトカムデータ欠損者の相対発症率(RI)をRIMPD/FU 1.5, 2.0, 3.0, 5.0という仮定を用いて調査した。結果は、各RIの仮定に対して頑健であることが証明され、RI=5.0でもプロバイオティクスの有益効果は大きく維持され、95%CIは狭い(相対リスク0.50 [0.34〜0.76])(図1)。
したがって、データ欠損によるRoBに関して、GRADEの等級ダウンなし

図1:Clostridium-difficile関連疾患を予防するためのプロバイオティクスの感度分析
統合値のみ表示。

注:各研究データを表示したフォレストプロットはprobiotics_Forest plot参照。
フォレストプロットは、自分でRevMan入力解析した結果ですが、実際の論文データとは若干数値が異なっています。論文著者のElieや解析実務者のBradleyなどに問い合わせましたが、データがすでに手元にないということでした。(^^;
臨床的には問題ないですが、おそらく、この表示データが正確と思います。


Available case analysis: Complete case analysis (excluding those with missing data) as the primary analysis.


(2) RoBのグレードダウンあり

(COPDにおけるチオトロピウム対長時間作用性β刺激薬)
4件のランダム化試験からなるシステマティックレビューで、アウトカムは”入院につながるCOPD悪化”である。著者はオッズ比0.87[0.77~0.99]を報告したが、参加者の5%から11%のデータが欠落していた。レビュー著者らは、エビデンスの質を評価するためにGRADEを使用し、欠損データによるRoBの結果としていずれのアウトカムについても等級ダウンとしなかった。完了ケース分析では、OR 0.83 [0.73、0.94]であった。
 
メタアナリシスの介入群での全体的なイベント発生率は16%であり、RIMPD/FU比が1.5, 2.0, 3.0の可能性があると考えた。 5.0のRIMPD/FUはありそうにないと考えられた(この場合、参加者の80%が悪化のために入院したであろう)。
統計的有意性は、RIMPD/FU2.0の仮定では境界であり(OR、0.89 [0.79〜1.00])、RIMPD/FU3.0では消失した(図2)。したがって、欠損データによるRoBのために等級ダウンあり

図2:安定したCOPDにおけるチオトロピウム対長時間作用性β刺激薬の感度分析


(3) RoBのグレードダウンあり

(COPDにおける運動訓練中の非侵襲的換気(Non-invasive ventilation:NIV))
2件のランダム化試験からなるシステマティックレビューで、アウトカムは”自転車エルゴメータの耐久時間の変化”である。完了ケース分析では、平均差58.68 [3.76〜113.59]であったが、2件の研究における参加者の21.6%と34.5%のデータが欠落していた。レビュー著者らは、GRADEを使用して、欠損データによるバイアスのリスクを低いと評価した。

GRADEのmissing dataに関するRoB評価指針にしたがって、欠損データに関する説得できる仮定を使って、RoBを再評価した。結果の頑健性は第1戦略(含まれている各試験の両群の欠落データの平均スコアは、検討中の試験の対照群の平均スコアと等しいと仮定)から失われた(平均差42.94 [-4.79 〜90.68])(図3)。
したがって、欠損データによるRoBのために等級ダウンあり

図3:COPDにおける運動トレーニング中のNIVの感度分析


 
これらの内容に関しては、GRADE3版のp49~p52「欠損データに関する補完解析と感度メタアナリシス」を参照ください。
一連の補完(代入)戦略においては、”plausible worst case”の仮定が重要です。

注:GRADE3e書籍のp52で記載した5つのデータソースに関して、書籍では”番号(1~5)”と列記していますが、”A~E”の間違いでした(原著論文、または出版社の正誤表を参照)。



 

Risk of bias評価における不一致の検討:K値

2019年3月22日 Posted by admin

なんらかの意思決定には常に合意形成が必要で、例えば診療ガイドライン(CPG)におけるエビデンスの確実性につながるバイアスのリスク(RoB)も同様です。システマティックレビュー(SR)を2~3人で実施したとしても、ガイドライン作成チーム全体で見直したところ、さまざまな評価となって、メンバー内の意見の一致がどの程度かを客観的に判断できないという状況があり得ます。

そのような場合には、合意の程度と(非合意があるならば)不一致項目を知る必要があり、そのための判断ツールを紹介したいと思います。なお、この手法は、他のどこかで発表されているものではなく、その妥当性も検証されていませんので、利用や解釈は各自で検討をお願いします。

仮想ランダム化臨床試験におけるRoB評価の一致率
方法:
(1) ある研究のRoBを、SRチームを含めたパネルメンバー10人でコクランRoBを使って評価する。
RoB評価は、以下のCochrane (RoB2) の6ドメインに従う。
 

#1: ランダム化プロセスのRoB
 
#2: 意図した介入からの逸脱によるRoB(介入への割り付けの影響)
 
#3: 意図した介入からの逸脱によるRoB(介入への遵守の影響)
 
#4: アウトカムデータ欠損によるRoB
 
#5: アウトカム測定によるRoB
 
#6: 報告結果の選択におけるRoB
 

(2) 全メンバーによる研究のRoB評価を、Cohen Kappa (K)の一致率をR(*)、STATA(**)を使って解析処理する。
具体的には、6つのドメインにおけるRoBに関して、Low=1、 Some concerns=2、High=3とスコア化し、10人のメンバーの評価について全体の一致度、および各ドメイン評価の全体評価への影響力をleave-one-out design解析(あるドメイン評価を除外しての全体の一致率を評価する)で判定する。

この解説において用意した仮想データは以下である。
すなわち、ドメイン#6は全員の評価が完全に一致しているが、その他のドメイン(#1~5)は評価にばらつきがある。

結果:
統計ソフトRを使ってCohen kappa値(***)を算出すると、全ドメインに関する評価のK値は0.58で、“中程度の一致”であった。


RoBドメインの行番号を除いたCohene係数を降順に表示したものが以下である。
すなわち、”ドメイン#4や#3の評価を”解析から除外すると”全体のkappa係数がさらに大きくなり、全体の一致率の低下にドメイン#4や#3が大きく寄与していることが分かる。逆に”ドメイン#1や#6を除外すると”、全体の一致率としてのK値が低下する。
このことから、ドメイン#4, #3が全体評価の一致率低下に影響を及ぼしている可能性が高いと判断できる。
 


この結果をより分かりやすく提示したものが以下である。
ドメイン#4の評価結果を”除外すると”、全体の一致率としてのK値は0.63に上昇する。ドメイン#5や#6を除外すると、全体の一率(K)は0.5台に低下する。
つまり、“かなりの一致(K値>0.6)”を、“中程度の一致(0.4~0.6)”に低下させている因子は、#4と#3だろうと考えられた。


結論:
上記から、全体の評価の一致率(K)が中等度もしくは低い場合には、このようなleave-one-out design手法を使って、一致率低下に関与しているドメインを客観的にピックアップすることができる。
また、RoB評価に際しては、場合によっては(2~3人による評価ではなく)より多くのCPG関連メンバーによるRoB評価と合意が必要であり、そのための判断の一致率評価が必須だろう。

 

*:この解析で使用したKappa(Cohen. Siegel)一致率は、私の友人の對馬栄輝先生(弘前大学大学院 保健学研究科 総合リハビリテーション科学領域、http://personal.hs.hirosaki-u.ac.jp/~pteiki/)に作成していただきました。R-code

**:STATAコマンドadmetan

***:Cohenの一致率は、医学文献ユーザーズガイド3版の19.3章、あるいは、
診療ガイドラインのためのGRADEシステム第2版の追加資料-8を参照。

 

GRADE CPG作成の基本ー3.5:[SR]エビデンスの確実性-②:Risk of bias

2016年8月16日 Posted by aihara

[GRADE-CPG解説資料-⑪]

エビデンスの等級には、研究デザインと、GRADEの8ドメイン(グレードダウンの5ドメイン、グレードアップの3ドメイン)を使います。5つのドメインのうちの一つが、研究の限界(limitations, risk of bias)です。

RCTと観察研究のrisk of bias評価に関しては、GRADE2版の表4.4-4と4.4-5を参照ください。また、あるアウトカムに関する全体的なエビデンスの確実性を決定する際のrisk of bias評価の5原則も大切です(GRADE2版のp60を参照)。

Risk of biasの評価結果であるRoBテーブルは、STATAや、エクセルを使っても作成可能ですが(http://www.grade-jpn.com/online_supplementals/risk_of_bias_excel.xls)、GDTを使ったデータ処理を考えるとRevManを使ったほうが便利です。

さて、トリプルXのCQに関するシステマティックレビューの結果はRCT17件、観察研究5件でした。

tab-1_evidence vs outcomes

採用した各研究のrisk of biasは以下のような結果でした(図1、図2、RevMan5を利用)。

各アウトカムについて、採用した研究のrisk of bias summary/graphを利用して、全体的なrisk of biasを決定することになります(GRADE2版の4.4-2.3参照)。つまり、最初に個々のrisk of biasを評価し、次にアウトカムに関する全体的なrisk of biasを決定するということです。

全体的なrisk of bias(RoB)を決定する際に、全体におけるhigh RoBやLow RoBの”割合”を参考にするグループもありますが、GRADE working groupは(多くの人が、なんらかの明確な基準値を使って定量的に判断したいと願っていることを知りつつも)画一的な基準を設定することには反対しています。これは、アウトカムによってRoBドメインの重要性が異なるためで、例えば、blindingの欠如は、死亡アウトカムにはグレードダウンとするほどの大きな問題とはならないといったものです。

GRADEにおいては、むしろ、効果推定値に寄与度が大きい(Weightが大きい)研究のRoBはどうか、という視点が重要です。この点でも、RevManを使うと、フォレストプロットとRoB summaryが同時に表示されるので便利です(図3)。

■図1:RCT17件のRisk of bias summary

risk of bias summary_RCT

■図2.観察研究5件のRisk of bias summary

■図3.観察研究5件のフォレストプロットとRisk of bias summary
(赤枠部分がweightとRoB)


■図4.総死亡のアウトカムに関するRCTエビデンスのrisk of bias

ほぼ同じような重みの5研究があり、各研究のRoBを提示したフォレストプロットが以下です。

Risk of biasに関する評価:
割付けの生成や割り付けの隠蔽に深刻な限界があることから、選択バイアスのリスクによる1段階グレードダウンとなる可能性があります。

 

欠損値(missing data)に関するimputation strategy

2016年4月27日 Posted by aihara

SRにおいて、”欠損値(missing data)”は、Risk of biasのうちの”不完全なアウトカム報告”につながります。
“missing data”のある試験をどのように対処すべきかという問題に対して、‘‘worst-case scenario,’’を始めとしたさまざまな補完戦略(imputation strategy)があります。GRADEmemberによる関連論文が発表されており、2値アウトカムのケースの解析法が以下の図です。

 

●2値アウトカム:
Addressing Dichotomous Data for Participants Excluded from Trial Analysis: A Guide for Systematic Reviewers
http://www.ncbi.nlm.nih.gov/pubmed/23451162

 

●連続アウトカム:
・同じ尺度の場合:
Addressing continuous data for participants excluded from trial analysis:a guide for systematic reviewers
http://www.ncbi.nlm.nih.gov/pubmed/23774111

・異なる尺度の場合:
Addressing continuous data measured with different instruments for participants excluded from trial analysis:a guide for systematic reviewers
http://www.ncbi.nlm.nih.gov/pubmed/24613497

 

でもって、さらにGRADE working groupは、missing dataに伴うrisk of biasのグレードダウン評価を補完戦略で考え、さらに診療ガイドラインのエビデンスの質評価にも利用いようと主張しています。

■研究における参加の流れ
figure

■解析方法
table1

■missing matrix
missing_matrix

 

STATAを使ったrisk of bias評価

2015年8月21日 Posted by aihara

Risk of bias評価のツールとしては、RevManを利用することが最も簡単ですが、STATAでも可能です。
STATAを使ったrisk of bias評価については、GRADE教科書2版において記載していますが、STATAコマンドが以下です(STATA version 13)。

●STATAコマンド:

.use http://www.grade-jpn.com/online_supplementals/heparin4cancer_rob.dta

*risk of bias graph*
.quadas Random_sequence_generation Allocation_concealment Blinding_of_participants_and_personnel Blinding_of_providers Blinding_of_data_collectors Blinding_of_outcome_assessment Blinding_of_data_analysis Incomplete_outcome_data Selective_reporting Other_bias Intention_to_treat_analysis, bar col title(Risk of bias graph)

*risk of bias summary*
.quadas Random_sequence_generation Allocation_concealment Blinding_of_participants_and_personnel Blinding_of_providers Blinding_of_data_collectors Blinding_of_outcome_assessment Blinding_of_data_analysis Incomplete_outcome_data Selective_reporting Other_bias Intention_to_treat_analysis, id(trialname) sum col ysiz(4) xsiz(5)

●Risk of biasの結果:

risk of bias graph

risk of bias summary

●全体的なRisk of bias(rob):
ひとつのアウトカムに関する、研究全体のrobは、当該アウトカムに関する評価ドメインの重要性や各研究の寄与率を勘案して決定します。

全体的なrob評価として、各研究のrobを、low=0, unclear=-1, high=-2としてスコアリングし、寄与率(重み)を乗じて、総合スコアを算出する方法もあります。
例:以下の評価では、寄与率を考慮したスコアは、-0.234であり、”採用した研究全体のrisk of biasに関してはグレードダウンとはしない”という判定になります。

rob-overall

注:GRADE working groupは、(アウトカムによってドメインの重要性が異なるため)このようなスコアリングによる判定を勧めてはいません。

GRADE JCEシリーズ -(4) エビデンスの質評価:研究の限界(risk of bias)

2013年2月4日 Posted by aihara

GRADEアプローチに関するJ Clinical Epidemiology(JCE)のGRADE series抄録を日本語翻訳して紹介します(JCEのGRADEシリーズ(全部で20数編)は、2011年より発表され、2013年1月時点で Part 13までが出版されています)。

JCE誌GRADE seriesの日本語翻訳(和訳:相原)とweb公開に関しては、Gordon Guyattと出版社(Elsevir Inc.)より許可を得ました。システマティックレビューや診療ガイドライン作成に関わる方々、あるいはEBMの上級編としての”エビデンスから推奨へ”というアプローチを学びたい方々にとって参考になると思いますのでご利用ください。

JCEシリーズの抄録翻訳pdfは、以下のサイトよりダウンロード可能です。
 GRADE JCEシリーズ

■pdf内容の一部(jce_4):
エビデンスの質(効果推定値への確信性)の評価を下げる5要因の一つが、研究の限界(risk of bias)です。

jce4

エクセルrisk of bias

2012年7月20日 Posted by aihara

rob_excel.jpg


エクセル(マクロ機能)を使った簡易ソフト, risk_of_bias_excel (エクセル2003を使ったrisk of bias評価)を7/12に紹介しましたが、
エクセル2010でも利用できるようにマクロを改変しました。2003, 2010いずれのバージョンでも使用可能です。

利用方法は、圧縮フォルダ内の「操作マニュアル」に記載しました。
risk_of_bias_excel.lzh

システマティックレビューや診療ガイドラインの作成者は、コクランのReview Manager (RevMan) のソフトを利用する事が必要です。
なぜならば、レビューにおいて、エビデンスサマリー(Summary of findings: SoF)を提示しないといけません。

エクセル2003を使ったrisk of bias評価

2012年7月12日 Posted by aihara

GRADE の”研究の限界”(limitations)に相当するものが、コクランレビューの”バイアスのリスク”(risk of bias)であり、狭義の”研究の内的妥当性”を示すものである。コクランのrisk of bias評価としての基本項目には6 つのドメインがある。(診療ガイドラインのためのGRADEシステム、p48)

rob


Blog(2009/10/7): コクランrisk of biasとGRADE limitations

—————————————————————————
Risk of biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、Review Manager (RevMan)によるrisk of biasツールを使って作成される。ツールに入力される情報、および risk of biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。
コクランレビューにおいては、risk of bias評価結果は「低 low」、「不明 unclear」、「高 high」の3 つに分類される。
—————————————————————————

rob_excel.jpg


システマティック・レビューや診療ガイドラインの作成のために選択した研究の risk of biasの評価を理解する目的で、エクセル2003(マクロ機能)を使った簡易ソフトを作成しました。
アウトカム別に個々の研究および複数の研究全体にわたって評価する必要があることを、本ソフトを使うことで簡単に理解できると思います。(GRADEに関する資料

risk_of_bias_excelの内容の一部を紹介すると;

例1
rob

例2
rob2


コクランrisk of biasとGRADE limitations

2010年9月7日 Posted by aihara

これまで紹介してきたように、GRADEのエビデンスの質の評価は、単に研究デザイン(RCT, 観察研究など)によるものではなく、limitations, inconsistency, indirectness, imprecision, publication biasなどの評価が必要です。

GRADEシステムによる治療介入のエビデンスを評価するためには、コクランのrisk of bias (コクランハンドブック参照) に相当するGRADEのlimitationsを理解する必要があります。また、エビデンス質評価支援のツールである、Revman5やGRADEproを利用すると、エビデンスの評価はアウトカム主体であることがよく分かります。

以下の、GRADEproに関するよくある質問(FAQ) の10項目は、FAQs on GRADEpro を許可を得て和訳したものです。
(例として、Q-8のrisk of biasとSoF [summary of findings] の項を示しめしました)

————————————————————————————————
 Q-1 SoFテーブル(SoF table)を理解する必要があるのは誰か?
 Q-2  レビューの SoFテーブルの作成責任は誰にあるのか?
 Q-3  SoFテーブルの作成後は誰にチェックをしてもらえるのか?
 Q-4 レビューの SoFテーブルの作成に向けた構想はどのタイミングで考え始めるのか?
 Q-5 SoFテーブルに 7 件以上のアウトカムを含めたい場合はどうしたらいいのか?
 Q-6 SoFテーブルはどのようにして作成するのか?
 Q-7 GRADEpro を使って SoFテーブルを作成する場合は何をしなければならないのか?
 Q-8 Risk of Bias テーブルと SoFテーブルとの間にはなんらかの関連性があるか?
 Q-9 エビデンスの評価システムが多数存在する中で、なぜ GRADE を使用するべきなのか?
 Q-10 システマティック・レビューにおいて GRADE アプローチを使ってエビデンスの質を評価する際に特別なスキルが必要か?
————————————————————————————————

例:

Q-8: Risk of Bias テーブルと SoFテーブルとの間にはなんらかの関連性があるか?

Risk of Biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、ツールを使って作成される。ツールに入力される情報、および Risk of Biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。

GRADEpro において GRADEを使用してエビデンスの質を評価する場合、著者はエビデンスの質を左右する 5 つの要因について検討する。そのうちの 1つの要因としてあげられるのが、「デザインの限界」である。「デザインの限界」での妥当性への脅威は、Risk of Bias ツールで評価されるものと同様である。そのため、レビュアはRisk of Biasテーブルの作成時に下した判断に基づき、GRADEpro における「デザインの限界」を理由にある特定のアウトカムのエビデンスの質の評価を下げるべきかどうかについて判断する必要がある。

注:
エビデンスの質は、一つ一つの論文の評価・スコアリングではなく、患者にとって重要なアウトカムに関する統合エビデンスを評価します。エビデンスを統合するためには、high risk of biasのエビデンスは除外する必要があります。コクランの基準の、low とunclear- risk of biasのエビデンスも統合してはいけません。[「診療ガイドラインのためのGRADEシステム」(相原他、凸版メディア、2010年)、より]。

コクランハンドブック(ver.5)とrisk of bias、SoF

2007年12月1日 Posted by aihara

Cochrane Handbook (ver5)とRevMan 5の一部がドラフトの形式で公開されました。
本ハンドブックにおいては、GRADEシステムに関する詳細な記述が追加され、系統的レビュー、ガイドライン作成者、EBM指導者には、GRADEシステムを無視できない状況になってきています。
今回のハンドブック改訂の特徴は、GRADEと、エビデンスの質のGRADE評価、アウトカムを主体とたエビデンスをわかりやすくまとめたSoF(summary of findings) tableと思います。

■Summary of findings(SoF)とは:
cochrane


GRADEシステムが2004年に報告されてからすでに3年が経過していますが、これまでの国内の医科ガイドラインを見る限り、適切な形でGRADEが反映されているものは全く存在していません。

GRADEの理解には、システマティックレビューのエビデンスの理解・認識が必須であり、同時に、コクランのRevManについての理解も必要となってきます。

これまでの研究デザインを主体とした評価(RCTやメタアナリシスをレベル1とする、など)やエビデンスレベルによる推奨の決定方針などは、見直されるべきものと思われます。
エビデンスの質評価はアウトカムを中心としたものであり、研究のlimitations(risk of bias)は、個別研究について評価し、さらにその後統合研究において評価する必要があります。

■risk of bias
rob


Cochrane Handbookでは、risk of bias toolが新基準として作成され、”within a study”評価、”across studies”評価という2段階評価が必要です。
図はRevManを使って出力されたrisk of bias 評価(risk of bias graph)です。

GRADEとSoFに関して解説した論文が、
相原、Guyatt, Falck-Ytter, GRADEシステムとSoF エビデンスから推奨へ(II) Therapeutic Res 2007; 28: です。