GRADEにおいては、研究ごとにエビデンスを評価するのではなく、複数の研究のシステマティック・レビューにより、アウトカムを主体として横断的に収集した総体エビデンス（body of evidence）の質を、アウトカムごとに評価する。

■エビデンスの質とは：
システマティック・レビューにおけるエビデンスの質とは、「ある効果推定値(estimate of effect) が正しいという確信(confidence)が、どの程度か」と定義される。システマティック・レビューでは推奨を作成しないため、各アウトカムについてエビデンスの質のグレーディングを行う。
一方、診療ガイドラインにおけるエビデンスの質は、「その効果推定値に対する確信が、ある特定の推奨を支持する上でどの程度十分か」を示す。GRADE では、“ 患者にとって重大な各アウトカム” に関するエビデンスの質を個別に評価し、それらを全体として見渡して、アウトカム全般に関する全体的なエビデンスの質(overall quality of evidence) を1つだけ決定する。

■エビデンスの質と研究デザイン
エビデンスの質の評価では，最初に研究デザインの評価をする。ランダム化比較試験(RCT)のエビデンスの質は「高」，RCT以外の観察研究のエビデンスの質は「低」とする。専門家の意見はGRADEではエビデンスの分類には含まない。

（表：GRADEシステムによるエビデンスの質評価と定義）。

シナリオの場合、コクランレビューに組み込まれた９件の試験の研究デザインは、
ランダム化比較試験であり、エビデンスの質は「高」である。（スライド #33参照)

表：　GRADEシステムによるエビデンスの質評価と定義

注意： ５つのグレードダウン、３つのグレードアップ要因があるが、各評価を定量的に行ってはいけない。－１と-１が２つ存在したから、必ず２段階下げるということでない。

メタ解析（メタアナリシス）とは、過去に行われた複数の研究結果を定量的に統合し分析する統計学的な解析の方法の1つであるが、複数の臨床試験データを単純に平均したものではなく、データのばらつきの度合いで重み付けしてから統合したものである。統合の統計学的手法は、データの種類（2値、連続）、統合する統計値（オッズ比、相対リスク、リスク比、相関係数、加重平均差など）、統合する統計手法（固定効果モデル、ランダム効果モデル）などによって異なる。

１つの研究ではなく複数の研究を統合したものを総体エビデンス（body of evidence）と呼び、GRADEシステムにおいては総体エビデンスの質を評価するのが基本である。しかし、利用できる最良のエビデンスが単一研究の場合もありえる。

■メタアナリシス（エビデンスの統合）

■メタアナリシスのためのソフトウエア

(*) コクラン共同計画では、選択論文からのデータは、RevManという統計解析ツールを用いてメタアナリシスを行っている。RevManでは、種々の異なった解析方法による結果の表示や、出版バイアスのチェックとしてのファンネルプロットも表示できる。さらに、RevManではGRADEproとのデータ交換も可能である。

主要基準の何％がリスクが高いと判定されたらという画一的なものでない。
“論文そのもの”に対して、「この論文は、low risk of bias」などという評価するのでなく、あくまでも、「この論文は、”このアウトカムについて”low risk of bias研究といえる」と評価するだけである。

個々の研究のRoB評価を項目別に図示したものを、Risk of bias summaryと呼び、縦横の表示を変えて、RoB項目別に複数の研究の評価を％で図示したものを、Risk of bias graphと呼ぶ。

例：　単一研究のRoB summary（アウトカム：死亡率）
risk_of_bias_excel.xlsを使用

risk of bias graphはrisk of bias summary図の縦横の表示を変えただけである。すなわち、評価項目別に全研究のRoBを集計したものが、risk of bias graphである。

risk of bias(RoB)の評価においては、アウトカムごとに個別研究のRoBを評価し、その後複数の研究にわたるRoBを判定する。
この複数の研究にわたるRoBが、GRADEの”limitations”(あるいは、risk of bias）と同じものであり、
つまり、グレードダウンの5要因の1つである。

シナリオ：　アウトカム（全死亡率）についての9件のRCTのrisk of graph

を使用して図を作成すると・・・・。

“割付の隠蔽“の評価は、研究全体でみると、89%（8/9）が緑色の low risk of biasである。
“アウトカム評価者の盲検化“は、全ての研究で（9/9）、赤色の high risk of biasである。

注：
全死亡の評価は生死という明確なアウトカム評価であることから、評価者の盲検化はそれほど重要なことではない（エビデンスの質を下げることはない）

[Item #-10] SR：コクランの色テーブル（risk of bias summary）を作成する

Risk of Biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、ツールを使って作成される。ツールに入力される情報、および Risk of Biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。

GRADEpro において GRADEを使用してエビデンスの質を評価する場合、著者はエビデンスの質を左右する 5 つの要因について検討する。そのうちの 1つの要因としてあげられるのが、「デザインの限界」である。「デザインの限界」での妥当性への脅威は、Risk of Bias ツールで評価されるものと同様である。そのため、レビュアはRisk of Biasテーブルの作成時に下した判断に基づき、GRADEpro における「デザインの限界」を理由にある特定のアウトカムのエビデンスの質の評価を下げるべきかどうかについて判断する必要がある。
GRADEproののFAQから

RevManを使うことで、各研究のRoB tableデータから、アウトカム別のrisk of bias summaryとrisk of bias graphが作成できる（アウトカムごとにRoBの入力を再度行い、作りなおす必要がある）。アウトカムごとに、risk of bias summaryならびにrisk of bias graphを作成することが推奨される。

非経口的抗凝固療法は癌患者の生存延長のために使用すべきか

あるアウトカムについて、個々の研究のRisk of biasを評価したテーブルから risk of bias summaryや risk of bias graphを表示する流れは、エクセルをつかうと簡単に理解できる。

例；

(*)本解説は、GRADEガイドライン作成の流れ(excel)の記載項目に対応しており、GRADEガイドライン作成の流れ：解説資料 (WORD.doc)としてまとめています。利用スライドは,「GRADEシステムの使い方」_20120426.lzhです。GRADEを理解するためには、唯一の日本語教科書である　診療ガイドラインのためのGRADEシステム（相原他、凸版メディア社出版）が役立ちます。

[Item #-9] SR：アウトカムごとに個々の研究および研究全般のrisk of biasを評価する
バイアスとは、結論や推論における系統誤差、または真実からの逸脱である。バイアスには方向性があり、真の介入効果を過小評価させる方向に働くバイアスもあれば、過大評価させる方向に働くバイアスもある。通常、ある研究の結果がバイアスの影響を潜在的にどの程度受けているのかを把握することは困難である。そのため、バイアスのリスク（risk of bias）として検討したことを適切に記載し、考慮したことを明示することが大切である。

コクランレビューの「risk of bias」は、GRADEの「研究の限界」に相当するもので、基本的な6つのドメインがある。

  •割付の順序 (random sequence generation)
  •割付の隠蔽 (allocation concealment)
  •参加者と研究者の盲検化 (blinding of participants and personnel )
  •アウトカム評価者の盲検化 (blinding of data analyst)
  •不完全なアウトカム (incomplete outcome data)
  •選択的な報告 (selective reporting)
  •その他のバイアス(stopped early for benefit*, etc)

注  * stopping early for benefitについては、コクランとGRADEではやや認識が異なる。

注：
コクランハンドブックの旧版(ver 5.0)では、参加者、研究者、アウトカム評価者の盲検化に関わる複数のバイアスを全て１つの領域で評価していた（ただし、異なるアウトカムについては、アウトカム別にバイアスを評価していたかもしれない）。改訂版ツール(ver 5.1)では、参加者、研究者、アウトカム評価者の盲検化にかかわるバイアスは、アウトカム評価者の盲検化にかかわるバイアスとは別に評価するようになっている。

各研究のrisk of bias評価結果は「低 low」、「不明 unclear」、「高 high」の3つに分類される。risk of bias summaryやrisk of biasグラフでは、Low は緑で、Unclear は黄色、High は赤で表示される。

GRADE の”研究の限界”(limitations)に相当するものが、コクランレビューの”バイアスのリスク”(risk of bias)であり、狭義の”研究の内的妥当性”を示すものである。コクランのrisk of bias評価としての基本項目には6 つのドメインがある。（診療ガイドラインのためのGRADEシステム、p48）

Blog(2009/10/7): コクランrisk of biasとGRADE limitations

—————————————————————————
Risk of biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、Review Manager (RevMan)によるrisk of biasツールを使って作成される。ツールに入力される情報、および risk of biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。
コクランレビューにおいては、risk of bias評価結果は「低 low」、「不明 unclear」、「高 high」の3 つに分類される。
—————————————————————————

システマティック・レビューや診療ガイドラインの作成のために選択した研究の risk of biasの評価を理解する目的で、エクセル2003（マクロ機能）を使った簡易ソフトを作成しました。
アウトカム別に個々の研究および複数の研究全体にわたって評価する必要があることを、本ソフトを使うことで簡単に理解できると思います。（GRADEに関する資料）

risk_of_bias_excelの内容の一部を紹介すると；

例１

例２