Posts Tagged: ‘risk of bias’

診断精度研究の質評価のためのQUADAS

2012年10月22日 Posted by aihara

診断精度研究の質を評価するためのツールの1つに、コクランにおいても利用されているQUADASがあります。

GRADEアプローチを使って診断精度研究を評価する際に、QUADASのようなツールを使った risk of bias評価が必要となります。治療介入に関する研究のlimitations (risk of bias) 評価と同じように利用されます。

QUADAS.pdf

http://www.grade-jpn.com/diagnosticTest_grade.html
: ”診断検査へのGRADEシステムの適用”よりDLできます。

quadas


 

GRADEガイドライン作成の流れ: Item #-16: エビデンスの質:(グレードダウンの5要因) limitations(risk of bias)

2012年7月26日 Posted by aihara

総体エビデンス(body of evidence)についてグレードダウンの5要因の1つであるrisk of biasを評価する際は、”コクランrisk of bias評価をGRADE の「研究の限界(limitations)」評価へ直接的に反映させる”。
両者の対応は、「low risk of bias」は「no limitations(限界なし)」、「unclear risk of bias(不明)」は「no serious(限界なし)」または「serious(深刻)な限界あり」、「high risk of bias」は「serious
(深刻)な限界」または「very serious(非常に深刻)な限界」に相当する。

■表1.5.1-6:コクランのrisk of biasとGRADEシステムにおけるlimitationsの分類対応
(GRADE教科書 p51)

rob


■表1.5.1-7:RCTにおける limitationsの評価のしかた
(GRADE教科書 p51)

limitations


注:
個々の研究のコクランrisk of biasテーブルに基づき、複数の研究にわたる全体的なエビデンスの質(overall quality of evidence across studies) を評価するための指針 (GRADE working group: JCE #4)が報告されている。→ スライド#42

item #8~#13で解説したように、ここでのrisk of biasは、個別研究の評価ではない。

評価例:シナリオにおける、2つのアウトカムに関する評価
●全死亡率: no serious risk of bias  (スライド #44
●大出血: no serious risk of bias

エクセルrisk of bias

2012年7月20日 Posted by aihara

rob_excel.jpg


エクセル(マクロ機能)を使った簡易ソフト, risk_of_bias_excel (エクセル2003を使ったrisk of bias評価)を7/12に紹介しましたが、
エクセル2010でも利用できるようにマクロを改変しました。2003, 2010いずれのバージョンでも使用可能です。

利用方法は、圧縮フォルダ内の「操作マニュアル」に記載しました。
risk_of_bias_excel.lzh

システマティックレビューや診療ガイドラインの作成者は、コクランのReview Manager (RevMan) のソフトを利用する事が必要です。
なぜならば、レビューにおいて、エビデンスサマリー(Summary of findings: SoF)を提示しないといけません。

GRADEガイドライン作成の流れ: Item #-13: SR:アウトカムごとに、9~12を繰り返し、複数の研究全般にわたるRoBを評価する

2012年7月18日 Posted by aihara

risk of bias (RoB)の評価におけるいくつかの注意点:

 アウトカムごとに複数の研究にわたって(across studies)、RoBを評価する。
 アウトカムによって各研究のRoB評価が異なることがある。
 主要基準の何%がリスクが高いと判定されたらという画一的なものでない。
 評価の重要ポイントは、脚注に記載すること。

GRADE教科書p51に、RCTにおけるrisk of biasの評価基準(GRADE working groupによる)を記載してあるが、
GRADE working groupは複数の研究にわたるRoB評価のために、以下のような判断の指針を発表している。
スライド #42

rob


GRADEガイドライン作成の流れ: Item #-11: SR:一つの研究の(within study)、そのアウトカムに関するRoBの確認

2012年7月18日 Posted by aihara


rob

  →
GRADEガイドライン作成の流れ(pdf)に従って解説資料としてまとめています。GRADEを理解するためには、唯一の日本語教科書である 診療ガイドラインのためのGRADEシステム(相原他、凸版メディア社出版)が役立ちます。

主要基準の何%がリスクが高いと判定されたらという画一的なものでない。
“論文そのもの”に対して、「この論文は、low risk of bias」などという評価するのでなく、あくまでも、「この論文は、”このアウトカムについて”low risk of bias研究といえる」と評価するだけである。

個々の研究のRoB評価を項目別に図示したものを、Risk of bias summaryと呼び、縦横の表示を変えて、RoB項目別に複数の研究の評価を%で図示したものを、Risk of bias graphと呼ぶ。

 

例: 単一研究のRoB summary(アウトカム:死亡率)
risk_of_bias_excel.xlsを使用

excel


GRADEガイドライン作成の流れ: Item #-12: SR:コクランの色グラフ(横棒で%記載の方: risk of bias graph)を作成する: そのアウトカムに関する研究全般のRoB

2012年7月18日 Posted by aihara

risk of bias graphはrisk of bias summary図の縦横の表示を変えただけである。すなわち、評価項目別に全研究のRoBを集計したものが、risk of bias graphである。

risk of bias(RoB)の評価においては、アウトカムごとに個別研究のRoBを評価し、その後複数の研究にわたるRoBを判定する。
この複数の研究にわたるRoBが、GRADEの”limitations”(あるいは、risk of bias)と同じものであり、
つまり、グレードダウンの5要因の1つである。

シナリオ: アウトカム(全死亡率)についての9件のRCTのrisk of graph

rob_excel.jpgを使用して図を作成すると・・・・。


rob


“割付の隠蔽“の評価は、研究全体でみると、89%(8/9)が緑色の low risk of biasである。
“アウトカム評価者の盲検化“は、全ての研究で(9/9)、赤色の high risk of biasである。

注:
全死亡の評価は生死という明確なアウトカム評価であることから、評価者の盲検化はそれほど重要なことではない(エビデンスの質を下げることはない)

GRADEガイドライン作成の流れ: Item #-10: SR:コクランの色テーブル(risk of bias summary)を作成する

2012年7月17日 Posted by aihara


grade_flow

  →GRADEガイドライン作成の流れ(pdf)に従って解説資料としてまとめています。GRADEを理解するためには、唯一の日本語教科書である 診療ガイドラインのためのGRADEシステム(相原他、凸版メディア社出版)が役立ちます。

[Item #-10] SR:コクランの色テーブル(risk of bias summary)を作成する

Risk of Biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、ツールを使って作成される。ツールに入力される情報、および Risk of Biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。

GRADEpro において GRADEを使用してエビデンスの質を評価する場合、著者はエビデンスの質を左右する 5 つの要因について検討する。そのうちの 1つの要因としてあげられるのが、「デザインの限界」である。「デザインの限界」での妥当性への脅威は、Risk of Bias ツールで評価されるものと同様である。そのため、レビュアはRisk of Biasテーブルの作成時に下した判断に基づき、GRADEpro における「デザインの限界」を理由にある特定のアウトカムのエビデンスの質の評価を下げるべきかどうかについて判断する必要がある。
GRADEproののFAQから

RevManを使うことで、各研究のRoB tableデータから、アウトカム別のrisk of bias summaryとrisk of bias graphが作成できる(アウトカムごとにRoBの入力を再度行い、作りなおす必要がある)。アウトカムごとに、risk of bias summaryならびにrisk of bias graphを作成することが推奨される。

非経口的抗凝固療法は癌患者の生存延長のために使用すべきか

rob


rob_excel.jpg


あるアウトカムについて、個々の研究のRisk of biasを評価したテーブルから risk of bias summaryや risk of bias graphを表示する流れは、エクセルをつかうと簡単に理解できる。

例;

rob2


GRADEガイドライン作成の流れ: Item #-9: SR:アウトカムごとに個々の研究および研究全般のrisk of biasを評価する

2012年7月13日 Posted by aihara

(*)本解説は、GRADEガイドライン作成の流れ(excel)の記載項目に対応しており、GRADEガイドライン作成の流れ:解説資料 (WORD.doc)としてまとめています。利用スライドは,「GRADEシステムの使い方」_20120426.lzhです。GRADEを理解するためには、唯一の日本語教科書である 診療ガイドラインのためのGRADEシステム(相原他、凸版メディア社出版)が役立ちます。

[Item #-9] SR:アウトカムごとに個々の研究および研究全般のrisk of biasを評価する
バイアスとは、結論や推論における系統誤差、または真実からの逸脱である。バイアスには方向性があり、真の介入効果を過小評価させる方向に働くバイアスもあれば、過大評価させる方向に働くバイアスもある。通常、ある研究の結果がバイアスの影響を潜在的にどの程度受けているのかを把握することは困難である。そのため、バイアスのリスク(risk of bias)として検討したことを適切に記載し、考慮したことを明示することが大切である。

コクランレビューの「risk of bias」は、GRADEの「研究の限界」に相当するもので、基本的な6つのドメインがある。

  •割付の順序 (random sequence generation)
  •割付の隠蔽 (allocation concealment)
  •参加者と研究者の盲検化 (blinding of participants and personnel )
  •アウトカム評価者の盲検化 (blinding of data analyst)
  •不完全なアウトカム (incomplete outcome data)
  •選択的な報告 (selective reporting)
  •その他のバイアス(stopped early for benefit*, etc)

  * stopping early for benefitについては、コクランとGRADEではやや認識が異なる。

注:
コクランハンドブックの旧版(ver 5.0)では、参加者、研究者、アウトカム評価者の盲検化に関わる複数のバイアスを全て1つの領域で評価していた(ただし、異なるアウトカムについては、アウトカム別にバイアスを評価していたかもしれない)。改訂版ツール(ver 5.1)では、参加者、研究者、アウトカム評価者の盲検化にかかわるバイアスは、アウトカム評価者の盲検化にかかわるバイアスとは別に評価するようになっている。

各研究のrisk of bias評価結果は「低 low」、「不明 unclear」、「高 high」の3つに分類される。risk of bias summaryやrisk of biasグラフでは、Low は緑で、Unclear は黄色、High は赤で表示される。

rob


エクセル2003を使ったrisk of bias評価

2012年7月12日 Posted by aihara

GRADE の”研究の限界”(limitations)に相当するものが、コクランレビューの”バイアスのリスク”(risk of bias)であり、狭義の”研究の内的妥当性”を示すものである。コクランのrisk of bias評価としての基本項目には6 つのドメインがある。(診療ガイドラインのためのGRADEシステム、p48)

rob


Blog(2009/10/7): コクランrisk of biasとGRADE limitations

—————————————————————————
Risk of biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、Review Manager (RevMan)によるrisk of biasツールを使って作成される。ツールに入力される情報、および risk of biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。
コクランレビューにおいては、risk of bias評価結果は「低 low」、「不明 unclear」、「高 high」の3 つに分類される。
—————————————————————————

rob_excel.jpg


システマティック・レビューや診療ガイドラインの作成のために選択した研究の risk of biasの評価を理解する目的で、エクセル2003(マクロ機能)を使った簡易ソフトを作成しました。
アウトカム別に個々の研究および複数の研究全体にわたって評価する必要があることを、本ソフトを使うことで簡単に理解できると思います。(GRADEに関する資料

risk_of_bias_excelの内容の一部を紹介すると;

例1
rob

例2
rob2


Cochrane Handbook ver-5.0.0

2008年3月17日 Posted by aihara

コクラン Handbook (ver5.0.0) web版が先月公開されました。
本ハンドブックは、21章から構成されていて、大きくは3部門にわかれています。

 Part1: Cochrane reviews
 Part2: General methods for Cochrane reviews
 Part3: Special topics
 Appendix A. Guide to the contents of a Cochrane Methodology protocol and review

昨年12月に、コクランレビュー作成ツールであるRevMan5を紹介しましたが、RevMan versinon 5の詳細は、What’s Newで確認できます。

ハンドブックには、コクランレビューにおけるrisk of biasの判断基準も詳細に記載されていますが、GRADEのlimitationsと似たようなものです。

risk of bias 評価
risk_of_bias