Category: ‘risk of bias’

GRADE CPG作成の基本ー3.5:[SR]エビデンスの確実性-②:Risk of bias

2016年8月16日 Posted by aihara

[GRADE-CPG解説資料-⑪]

エビデンスの等級には、研究デザインと、GRADEの8ドメイン(グレードダウンの5ドメイン、グレードアップの3ドメイン)を使います。5つのドメインのうちの一つが、研究の限界(limitations, risk of bias)です。

RCTと観察研究のrisk of bias評価に関しては、GRADE2版の表4.4-4と4.4-5を参照ください。また、あるアウトカムに関する全体的なエビデンスの確実性を決定する際のrisk of bias評価の5原則も大切です(GRADE2版のp60を参照)。

Risk of biasの評価結果であるRoBテーブルは、STATAや、エクセルを使っても作成可能ですが(http://www.grade-jpn.com/online_supplementals/risk_of_bias_excel.xls)、GDTを使ったデータ処理を考えるとRevManを使ったほうが便利です。

さて、トリプルXのCQに関するシステマティックレビューの結果はRCT17件、観察研究5件でした。

tab-1_evidence vs outcomes

採用した各研究のrisk of biasは以下のような結果でした(図1、図2、RevMan5を利用)。

各アウトカムについて、採用した研究のrisk of bias summary/graphを利用して、全体的なrisk of biasを決定することになります(GRADE2版の4.4-2.3参照)。つまり、最初に個々のrisk of biasを評価し、次にアウトカムに関する全体的なrisk of biasを決定するということです。

全体的なrisk of bias(RoB)を決定する際に、全体におけるhigh RoBやLow RoBの”割合”を参考にするグループもありますが、GRADE working groupは(多くの人が、なんらかの明確な基準値を使って定量的に判断したいと願っていることを知りつつも)画一的な基準を設定することには反対しています。これは、アウトカムによってRoBドメインの重要性が異なるためで、例えば、blindingの欠如は、死亡アウトカムにはグレードダウンとするほどの大きな問題とはならないといったものです。

GRADEにおいては、むしろ、効果推定値に寄与度が大きい(Weightが大きい)研究のRoBはどうか、という視点が重要です。この点でも、RevManを使うと、フォレストプロットとRoB summaryが同時に表示されるので便利です(図3)。

■図1:RCT17件のRisk of bias summary

risk of bias summary_RCT

■図2.観察研究5件のRisk of bias summary

risk of bias summary_observational

■図3.観察研究5件のフォレストプロットとRisk of bias summary
(赤枠部分がweightとRoB)

forest plot_observational

■図4.総死亡のアウトカムに関するエビデンスのrisk of bias

ほぼ同じような重みの5研究があり、各研究のRoBを提示したフォレストプロットが以下です。

Risk of biasに関する評価:
割付けの生成や割り付けの隠蔽に深刻な限界があることから、選択バイアスのリスクによる1段階グレードダウンとなる可能性があります。

 

欠損値(missing data)に関するimputation strategy

2016年4月27日 Posted by aihara

SRにおいて、”欠損値(missing data)”は、Risk of biasのうちの”不完全なアウトカム報告”につながります。
“missing data”のある試験をどのように対処すべきかという問題に対して、‘‘worst-case scenario,’’を始めとしたさまざまな補完戦略(imputation strategy)があります。GRADEmemberによる関連論文が発表されており、2値アウトカムのケースの解析法が以下の図です。

 

●2値アウトカム:
Addressing Dichotomous Data for Participants Excluded from Trial Analysis: A Guide for Systematic Reviewers
http://www.ncbi.nlm.nih.gov/pubmed/23451162

 

●連続アウトカム:
・同じ尺度の場合:
Addressing continuous data for participants excluded from trial analysis:a guide for systematic reviewers
http://www.ncbi.nlm.nih.gov/pubmed/23774111

・異なる尺度の場合:
Addressing continuous data measured with different instruments for participants excluded from trial analysis:a guide for systematic reviewers
http://www.ncbi.nlm.nih.gov/pubmed/24613497

 

でもって、さらにGRADE working groupは、missing dataに伴うrisk of biasのグレードダウン評価を補完戦略で考え、さらに診療ガイドラインのエビデンスの質評価にも利用いようと主張しています。

■研究における参加の流れ
figure

■解析方法
table1

■missing matrix
missing_matrix

 

STATAを使ったrisk of bias評価

2015年8月21日 Posted by aihara

Risk of bias評価のツールとしては、RevManを利用することが最も簡単ですが、STATAでも可能です。
STATAを使ったrisk of bias評価については、GRADE教科書2版において記載していますが、STATAコマンドが以下です(STATA version 13)。

●STATAコマンド:

.use http://www.grade-jpn.com/online_supplementals/heparin4cancer_rob.dta

*risk of bias graph*
.quadas Random_sequence_generation Allocation_concealment Blinding_of_participants_and_personnel Blinding_of_providers Blinding_of_data_collectors Blinding_of_outcome_assessment Blinding_of_data_analysis Incomplete_outcome_data Selective_reporting Other_bias Intention_to_treat_analysis, bar col title(Risk of bias graph)

*risk of bias summary*
.quadas Random_sequence_generation Allocation_concealment Blinding_of_participants_and_personnel Blinding_of_providers Blinding_of_data_collectors Blinding_of_outcome_assessment Blinding_of_data_analysis Incomplete_outcome_data Selective_reporting Other_bias Intention_to_treat_analysis, id(trialname) sum col ysiz(4) xsiz(5)

●Risk of biasの結果:

risk of bias graph

risk of bias summary

●全体的なRisk of bias(rob):
ひとつのアウトカムに関する、研究全体のrobは、当該アウトカムに関する評価ドメインの重要性や各研究の寄与率を勘案して決定します。

全体的なrob評価として、各研究のrobを、low=0, unclear=-1, high=-2としてスコアリングし、寄与率(重み)を乗じて、総合スコアを算出する方法もあります。
例:以下の評価では、寄与率を考慮したスコアは、-0.234であり、”採用した研究全体のrisk of biasに関してはグレードダウンとはしない”という判定になります。

rob-overall

注:GRADE working groupは、(アウトカムによってドメインの重要性が異なるため)このようなスコアリングによる判定を勧めてはいません。

GRADE JCEシリーズ -(4) エビデンスの質評価:研究の限界(risk of bias)

2013年2月4日 Posted by aihara

GRADEアプローチに関するJ Clinical Epidemiology(JCE)のGRADE series抄録を日本語翻訳して紹介します(JCEのGRADEシリーズ(全部で20数編)は、2011年より発表され、2013年1月時点で Part 13までが出版されています)。

JCE誌GRADE seriesの日本語翻訳(和訳:相原)とweb公開に関しては、Gordon Guyattと出版社(Elsevir Inc.)より許可を得ました。システマティックレビューや診療ガイドライン作成に関わる方々、あるいはEBMの上級編としての”エビデンスから推奨へ”というアプローチを学びたい方々にとって参考になると思いますのでご利用ください。

JCEシリーズの抄録翻訳pdfは、以下のサイトよりダウンロード可能です。
 GRADE JCEシリーズ

■pdf内容の一部(jce_4):
エビデンスの質(効果推定値への確信性)の評価を下げる5要因の一つが、研究の限界(risk of bias)です。

jce4

エクセルrisk of bias

2012年7月20日 Posted by aihara

rob_excel.jpg


エクセル(マクロ機能)を使った簡易ソフト, risk_of_bias_excel (エクセル2003を使ったrisk of bias評価)を7/12に紹介しましたが、
エクセル2010でも利用できるようにマクロを改変しました。2003, 2010いずれのバージョンでも使用可能です。

利用方法は、圧縮フォルダ内の「操作マニュアル」に記載しました。
risk_of_bias_excel.lzh

システマティックレビューや診療ガイドラインの作成者は、コクランのReview Manager (RevMan) のソフトを利用する事が必要です。
なぜならば、レビューにおいて、エビデンスサマリー(Summary of findings: SoF)を提示しないといけません。

エクセル2003を使ったrisk of bias評価

2012年7月12日 Posted by aihara

GRADE の”研究の限界”(limitations)に相当するものが、コクランレビューの”バイアスのリスク”(risk of bias)であり、狭義の”研究の内的妥当性”を示すものである。コクランのrisk of bias評価としての基本項目には6 つのドメインがある。(診療ガイドラインのためのGRADEシステム、p48)

rob


Blog(2009/10/7): コクランrisk of biasとGRADE limitations

—————————————————————————
Risk of biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、Review Manager (RevMan)によるrisk of biasツールを使って作成される。ツールに入力される情報、および risk of biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。
コクランレビューにおいては、risk of bias評価結果は「低 low」、「不明 unclear」、「高 high」の3 つに分類される。
—————————————————————————

rob_excel.jpg


システマティック・レビューや診療ガイドラインの作成のために選択した研究の risk of biasの評価を理解する目的で、エクセル2003(マクロ機能)を使った簡易ソフトを作成しました。
アウトカム別に個々の研究および複数の研究全体にわたって評価する必要があることを、本ソフトを使うことで簡単に理解できると思います。(GRADEに関する資料

risk_of_bias_excelの内容の一部を紹介すると;

例1
rob

例2
rob2


コクランrisk of biasとGRADE limitations

2010年9月7日 Posted by aihara

これまで紹介してきたように、GRADEのエビデンスの質の評価は、単に研究デザイン(RCT, 観察研究など)によるものではなく、limitations, inconsistency, indirectness, imprecision, publication biasなどの評価が必要です。

GRADEシステムによる治療介入のエビデンスを評価するためには、コクランのrisk of bias (コクランハンドブック参照) に相当するGRADEのlimitationsを理解する必要があります。また、エビデンス質評価支援のツールである、Revman5やGRADEproを利用すると、エビデンスの評価はアウトカム主体であることがよく分かります。

以下の、GRADEproに関するよくある質問(FAQ) の10項目は、FAQs on GRADEpro を許可を得て和訳したものです。
(例として、Q-8のrisk of biasとSoF [summary of findings] の項を示しめしました)

————————————————————————————————
 Q-1 SoFテーブル(SoF table)を理解する必要があるのは誰か?
 Q-2  レビューの SoFテーブルの作成責任は誰にあるのか?
 Q-3  SoFテーブルの作成後は誰にチェックをしてもらえるのか?
 Q-4 レビューの SoFテーブルの作成に向けた構想はどのタイミングで考え始めるのか?
 Q-5 SoFテーブルに 7 件以上のアウトカムを含めたい場合はどうしたらいいのか?
 Q-6 SoFテーブルはどのようにして作成するのか?
 Q-7 GRADEpro を使って SoFテーブルを作成する場合は何をしなければならないのか?
 Q-8 Risk of Bias テーブルと SoFテーブルとの間にはなんらかの関連性があるか?
 Q-9 エビデンスの評価システムが多数存在する中で、なぜ GRADE を使用するべきなのか?
 Q-10 システマティック・レビューにおいて GRADE アプローチを使ってエビデンスの質を評価する際に特別なスキルが必要か?
————————————————————————————————

例:

Q-8: Risk of Bias テーブルと SoFテーブルとの間にはなんらかの関連性があるか?

Risk of Biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、ツールを使って作成される。ツールに入力される情報、および Risk of Biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。

GRADEpro において GRADEを使用してエビデンスの質を評価する場合、著者はエビデンスの質を左右する 5 つの要因について検討する。そのうちの 1つの要因としてあげられるのが、「デザインの限界」である。「デザインの限界」での妥当性への脅威は、Risk of Bias ツールで評価されるものと同様である。そのため、レビュアはRisk of Biasテーブルの作成時に下した判断に基づき、GRADEpro における「デザインの限界」を理由にある特定のアウトカムのエビデンスの質の評価を下げるべきかどうかについて判断する必要がある。

注:
エビデンスの質は、一つ一つの論文の評価・スコアリングではなく、患者にとって重要なアウトカムに関する統合エビデンスを評価します。エビデンスを統合するためには、high risk of biasのエビデンスは除外する必要があります。コクランの基準の、low とunclear- risk of biasのエビデンスも統合してはいけません。[「診療ガイドラインのためのGRADEシステム」(相原他、凸版メディア、2010年)、より]。

コクランハンドブック(ver.5)とrisk of bias、SoF

2007年12月1日 Posted by aihara

Cochrane Handbook (ver5)とRevMan 5の一部がドラフトの形式で公開されました。
本ハンドブックにおいては、GRADEシステムに関する詳細な記述が追加され、系統的レビュー、ガイドライン作成者、EBM指導者には、GRADEシステムを無視できない状況になってきています。
今回のハンドブック改訂の特徴は、GRADEと、エビデンスの質のGRADE評価、アウトカムを主体とたエビデンスをわかりやすくまとめたSoF(summary of findings) tableと思います。

■Summary of findings(SoF)とは:
cochrane


GRADEシステムが2004年に報告されてからすでに3年が経過していますが、これまでの国内の医科ガイドラインを見る限り、適切な形でGRADEが反映されているものは全く存在していません。

GRADEの理解には、システマティックレビューのエビデンスの理解・認識が必須であり、同時に、コクランのRevManについての理解も必要となってきます。

これまでの研究デザインを主体とした評価(RCTやメタアナリシスをレベル1とする、など)やエビデンスレベルによる推奨の決定方針などは、見直されるべきものと思われます。
エビデンスの質評価はアウトカムを中心としたものであり、研究のlimitations(risk of bias)は、個別研究について評価し、さらにその後統合研究において評価する必要があります。

■risk of bias
rob


Cochrane Handbookでは、risk of bias toolが新基準として作成され、”within a study”評価、”across studies”評価という2段階評価が必要です。
図はRevManを使って出力されたrisk of bias 評価(risk of bias graph)です。

GRADEとSoFに関して解説した論文が、
相原、Guyatt, Falck-Ytter, GRADEシステムとSoF エビデンスから推奨へ(II) Therapeutic Res 2007; 28: です。