非一貫性あるいは不一致性（inconsistency）とは、研究によって治療効果の推定値が大きく異なる（すなわち，結果に異質性(heterogeneity)または、ばらつきが存在する）ことを指し，根本的な治療効果に真の差異が存在することを意味する。異質性があるにも関わらず研究者が妥当な説明ができない場合、その程度に応じてエビデンスの質を1〜2段階下げる。
■inconsitencyの４つの基準（GRADE教科書 p52）
■効果の方向は非一貫性の基準ではない
(1)GRADE handbook: 「説明のつかない結果の異質性または非一貫性について」
(2)inconsistency（非一貫性）
（本図は、JCE 2012論文にて発表されているものと同じである）
■シナリオにおける、２つのアウトカムに関する評価：
・全死亡率： serious inconsistency (-1) （スライド #49）
・大出血： no serious inconsistency
エクセル（マクロ機能）を使った簡易ソフト, risk_of_bias_excel (エクセル2003を使ったrisk of bias評価)を7/12に紹介しましたが、
エクセル2010でも利用できるようにマクロを改変しました。2003, 2010いずれのバージョンでも使用可能です。
利用方法は、圧縮フォルダ内の「操作マニュアル」に記載しました。
risk_of_bias_excel.lzh
システマティックレビューや診療ガイドラインの作成者は、コクランのReview Manager (RevMan) のソフトを利用する事が必要です。
なぜならば、レビューにおいて、エビデンスサマリー(Summary of findings: SoF)を提示しないといけません。
GRADE の”研究の限界”(limitations)に相当するものが、コクランレビューの”バイアスのリスク”(risk of bias)であり、狭義の”研究の内的妥当性”を示すものである。コクランのrisk of bias評価としての基本項目には6 つのドメインがある。（診療ガイドラインのためのGRADEシステム、p48）
Blog(2009/10/7): コクランrisk of biasとGRADE limitations
—————————————————————————
Risk of biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、Review Manager (RevMan)によるrisk of biasツールを使って作成される。ツールに入力される情報、および risk of biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。
コクランレビューにおいては、risk of bias評価結果は「低 low」、「不明 unclear」、「高 high」の3 つに分類される。
—————————————————————————
システマティック・レビューや診療ガイドラインの作成のために選択した研究の risk of biasの評価を理解する目的で、エクセル2003（マクロ機能）を使った簡易ソフトを作成しました。
アウトカム別に個々の研究および複数の研究全体にわたって評価する必要があることを、本ソフトを使うことで簡単に理解できると思います。（GRADEに関する資料）
risk_of_bias_excelの内容の一部を紹介すると；
例１
例２
これまで紹介してきたように、GRADEのエビデンスの質の評価は、単に研究デザイン（RCT, 観察研究など）によるものではなく、limitations, inconsistency, indirectness, imprecision, publication biasなどの評価が必要です。
GRADEシステムによる治療介入のエビデンスを評価するためには、コクランのrisk of bias (コクランハンドブック参照) に相当するGRADEのlimitationsを理解する必要があります。また、エビデンス質評価支援のツールである、Revman5やGRADEproを利用すると、エビデンスの評価はアウトカム主体であることがよく分かります。
以下の、GRADEproに関するよくある質問（FAQ） の10項目は、FAQs on GRADEpro を許可を得て和訳したものです。
（例として、Q-8のrisk of biasとSoF [summary of findings] の項を示しめしました）
————————————————————————————————
Q-1 SoFテーブル(SoF table)を理解する必要があるのは誰か？
Q-2 レビューの SoFテーブルの作成責任は誰にあるのか？
Q-3 SoFテーブルの作成後は誰にチェックをしてもらえるのか？
Q-4 レビューの SoFテーブルの作成に向けた構想はどのタイミングで考え始めるのか？
Q-5 SoFテーブルに 7 件以上のアウトカムを含めたい場合はどうしたらいいのか？
Q-6 SoFテーブルはどのようにして作成するのか？
Q-7 GRADEpro を使って SoFテーブルを作成する場合は何をしなければならないのか？
Q-8 Risk of Bias テーブルと SoFテーブルとの間にはなんらかの関連性があるか？
Q-9 エビデンスの評価システムが多数存在する中で、なぜ GRADE を使用するべきなのか？
Q-10 システマティック・レビューにおいて GRADE アプローチを使ってエビデンスの質を評価する際に特別なスキルが必要か？
————————————————————————————————
例：
|
Risk of Biasテーブルは、レビュアによる内的妥当性の評価 (あるいは、研究においてリサーチクエスチョンに対する回答が適格に、またはバイアスなく提供されているかの評価) を支援するためのもので、ツールを使って作成される。ツールに入力される情報、および Risk of Biasテーブルに示される情報は、SoFテーブルにおいて各アウトカムのエビデンスの質を検討する際に重要となってくる。 GRADEpro において GRADEを使用してエビデンスの質を評価する場合、著者はエビデンスの質を左右する 5 つの要因について検討する。そのうちの 1つの要因としてあげられるのが、「デザインの限界」である。「デザインの限界」での妥当性への脅威は、Risk of Bias ツールで評価されるものと同様である。そのため、レビュアはRisk of Biasテーブルの作成時に下した判断に基づき、GRADEpro における「デザインの限界」を理由にある特定のアウトカムのエビデンスの質の評価を下げるべきかどうかについて判断する必要がある。 |
注：
エビデンスの質は、一つ一つの論文の評価・スコアリングではなく、患者にとって重要なアウトカムに関する統合エビデンスを評価します。エビデンスを統合するためには、high risk of biasのエビデンスは除外する必要があります。コクランの基準の、low とunclear- risk of biasのエビデンスも統合してはいけません。[「診療ガイドラインのためのGRADEシステム｣（相原他、凸版メディア、2010年）、より]。
GRADEのエビデンス質判定のための５つのrate-down因子のひとつが、出版バイアスです。出帆バイアスは、研究が選択により偏って出帆されることが原因で本来の効果が系統的に過小または過大に評価されることです。
つまり、複数の妥当な研究が実施されても、特定の方向に偏ったバイアスのある結果のみが発表されるならば、それらの研究を統合してメタアナリシスを実施しても、得られた結果は偏ったものになります。このような選択的に偏った結果のみが報告されるバイアスは、ひとつひとつのRCTのレベルでも、一つのRCTの中のアウトカムのレベルでも起こりえます。前者を（狭義の）出版バイアスpublication bias、後者をアウトカム報告バイアスoutcome reporting biasといいます（古川、名古屋市立大学）。
さらに、このアウトカム報告バイアスは、コクランライブラリのような信頼性の高いとされる情報においても見られると報告されています。
メタアナリシスでは、出版バイアスはファンネルプロットの左右非対称という表示でも明らかなことがありますが、次のような意図的にアウトカムを報告しないというケースの問題が発表されました。
■Pfizer社はてんかん薬・Neurontinの試験の発表を操作してきた（Biotoday, 2008/10/10).
———————————————————————–
訴訟で裁判所に提出された大量の社内資料を弁護士の要請を受けて専門家がレビューしたところ、Pfizer（ファイザー）社はてんかん薬・Neurontin（ガバペンチン、gabapentin）の使用をサポートしない研究成果を抑制しつつ、てんかん以外の疾患へのNeurontinの使用を促すように試験成績を操作していました。
New York TimesによるとPfizer社の手法は以下のようです。
● 薬剤の効果が認められなかった試験の発表を遅らせる
● 否定的なデータをより肯定的に見せかける
● 否定的な知見を肯定的な試験と束ねることで否定的知見を中和する
世界のトップ企業でも、戦略的に試験データを操作しているということです。
上記の古川教授は、sponsorship biasとして、アウトカム報告バイアスの重要性を指摘しています（私信）。
GRADEシステムでのLimitationsは以前紹介しましたが、各アウトカムについての研究結果の一致性 (consistency)の評価が重要です。すなわち、複数のランダム化比較試験あるいはメタアナリシスの報告があるのでエビデンスレベルが高く（臨床医にとって）介入の推奨の信頼・確信がおけるとは安易に判断することは不適切ということです。実際の臨床医には、研究間のinconsistency (heterogeneity)が問題となるということです。
Inconsistency(不一致）は、結果説明ができない異質性ということであり、GRADEシステムでのrate-down 因子のひとつで、重大か非常に重大なものかによって、１～２段階等級ダウンにつながります。通常はinclusion criteriaとのギャップからくることが多いものですが、前景疑問として考えると、PICOの、Population/patientsの部分のことも、またOutcomeのこともあります。
さて、異質性 (heterogeneity)という概念からすると、２つに大別する場合もあります。
————————————————————
(1) Clinical heterogeneity: inconsistency about patients/population
(2) Statistical heterogeneity: inconsistency about the results
————————————————————-
では異質性が高いことがはたして臨床的にデメリットなのか、あるいは重要性が低い研究と判断すべきなのかとなると、それは疑問です。すなわち、
Greater the statistical heterogeneity, in general, the weaker the inferences about the estimates of effect overall. By contrast, the greater the clinical heterogeneity, in general, the greater the generalizability of the overall results.
このように、異質性の種類によって、系統的レビューのエビデンスがもたらす影響は異なる（Crowther MA, McMaster Univ. Hematology 2007: 493-497) ということであり、系統的レビューあるいは、診療ガイドライン作成者は、研究の異質性と重要性とは別に考慮すべきです。
また、heterogeneityについては、常に事前設定のサブグループ解析の評価が必須です。このサブ解析が信頼できるかどうかの判定の７項目のひとつの、“a prioriか”が重要で、post hocでは非常に不適切な解釈につながります。
GRADEシステムは、診療ガイドラインを作成する立場の人（つくる）、だけではなく、ガイドラインを使うというよりも、実際の医療の最前線での臨床医が、目の前の患者になんらかの介入（治療・診断など）の推奨を決定する場合のエビデンスの質評価にも参考になるもので、従ってGRADEシステム ≠ 診療ガイドライン作成ということです。
GRADEシステムでのエビデンスの質評価基準には、研究デザインの他に、いくつかの判定基準があります。
rate-down５因子のひとつが、報告バイアスで、１段階等級ダウンと考えますが、最近２つの臨床論文がこの報告バイアス（ひとつは代理アウトカム、小サンプルサイズ）で問題となっています。
■-(I) Selective Publication of Antidepressant Trials. NEJM 2008; 358: 252-60.
[方法]：患者 12,564 例を対象，12 種類の抗うつ薬の試験に対する米国食品医薬品局（FDA）のレビューを入手し、系統的な文献調査を実施した。
[結果]：FDA に登録された試験 74 件中，31%（n=3,449 例）は出版されていなかった．
FDA により結果が陽性であるとみなされた計 37 件の試験は出版されていたが，1 件は出版されていなかった．FDA によって陰性あるいは疑問のある結果であるとみなされた試験は，出版されていない（22 件）か，陽性の転帰を伝えるような形で出版されていた（11 件）．出版された文献に基づくと，実施された試験の 94%が陽性であるとみられた．これに対して，FDA の分析で陽性であることが示されたのは 51%であった．FDA と学術誌のデータセットについて個別にメタ解析(random-effects model)を行ったところ，ESの増加は，個々の薬剤では 11～69%の範囲で，全体(overall mean weighted ES)では 32%(0.31-0.41)であった。
■-(II) ENHANCE Results Yield Disappointment for Ezetimibe (Heartwireより)
ヘテロ接合体性家族性高コレステロール血症患者720例を対象（2年間の治療期間）として実施された研究で、エゼチミブ＋シンバスタチンには、シンバスタチン単独を上回る有効性は認められなかった。
本試験は、臨床アウトカム試験ではなく、アテローム動脈硬化性プラークに対する薬物療法の効果をモニタリング（頸動脈超音波検査）という、代替アウトカム評価です。
心血管系イベントについては、2群間で差はなく、本試験は、心血管系臨床イベントを評価するには十分な検出力をもたなかった。なお、理由は不明ですが、この成績は2年間報告が遅れたというか、遅くなったということです。
これらの例のような報告バイアスは、エビデンスの質を下げる大きな要因です。従って、なんらかの陽性（あるいは陰性）結果の研究、小さなサンプルサイズ試験などが報告された場合、系統的レビューを探すとか、バイアスのチェックが必須です。
報告（出版）バイアスは、GRADEエビデンスの質評価の一つで、GRADE-rate・down factorです。
Cochrane Handbook (ver5)とRevMan 5の一部がドラフトの形式で公開されました。
本ハンドブックにおいては、GRADEシステムに関する詳細な記述が追加され、系統的レビュー、ガイドライン作成者、EBM指導者には、GRADEシステムを無視できない状況になってきています。
今回のハンドブック改訂の特徴は、GRADEと、エビデンスの質のGRADE評価、アウトカムを主体とたエビデンスをわかりやすくまとめたSoF（summary of findings） tableと思います。
■Summary of findings（SoF）とは：
GRADEシステムが2004年に報告されてからすでに3年が経過していますが、これまでの国内の医科ガイドラインを見る限り、適切な形でGRADEが反映されているものは全く存在していません。
GRADEの理解には、システマティックレビューのエビデンスの理解・認識が必須であり、同時に、コクランのRevManについての理解も必要となってきます。
これまでの研究デザインを主体とした評価（RCTやメタアナリシスをレベル１とする、など）やエビデンスレベルによる推奨の決定方針などは、見直されるべきものと思われます。
エビデンスの質評価はアウトカムを中心としたものであり、研究のlimitations（risk of bias）は、個別研究について評価し、さらにその後統合研究において評価する必要があります。
■risk of bias
Cochrane Handbookでは、risk of bias toolが新基準として作成され、”within a study”評価、”across studies”評価という2段階評価が必要です。
図はRevManを使って出力されたrisk of bias 評価（risk of bias graph）です。
GRADEとSoFに関して解説した論文が、
相原、Guyatt, Falck-Ytter, GRADEシステムとSoF エビデンスから推奨へ(II) Therapeutic Res 2007; 28: です。
GRADEシステムにおいては、RCTsのエビデンスの質評価はhigh-qualityとしてスタートしますが、rate-downの５項目のひとつに、”報告（出版）バイアス”の存在があります。
報告バイアスの一つである、アウトカム報告バイアス（outcome reporting bias）やコクランレビューにおける問題について、名古屋大学の古川教授が発表しています（JAMA 2007; 297: 468-70）。
以下は、GRADE論文（１）：
Aihara M, Guyatt G，Falck-Ytter Y, et al. GRADEシステム：エビデンスから推奨へ(GRADE System: from evidence to recommendations). からの抜粋です。
————————————————————————
Cochrane レビューにおいてさえも、同定されたランダム化比較試験の約半数が患者にとって重要と思われるエンドポイント（アウトカム）の効果推定に貢献できていない。またメタアナリシスで同定されたランダム化比較試験のうち実際に効果推定に貢献できた試験の占める割合と推定効果には逆相関が見られたことから、この割合の低いメタアナリシスは真実の効果を過大評価している可能性がある。これをoutcome reporting bias（アウトカム報告バイアス）と言うが、今まで注目されてきたstudy reporting bias（研究の報告バイアス/出版バイアス）に加えて、このアウトカム報告バイアスは非常に重要であり、注意が必要である。
————————————————————————
関連した話題として、最近、BMJ (16 November 2007)でメタ解析についての問題が発表されました。
製薬会社と金銭的つながりがあるメタ解析の結論を鵜呑みにしてはいけない
Financial ties and concordance between results and conclusions in meta-analyses: retrospective cohort study.
降圧剤の124のメタ解析を評価した結果、製薬会社と金銭的に関連があるメタ解析は、製薬会社にとって有利な結果とはなっていないが、製薬会社に有利な結論となっている可能性が高いことが分かった。つまりエディターやピアレビュアーは偏った結論のメタ解析の出版を防ぐ事ができていない。
この結果を受けて、オリジナルデータはまともだが結論を鵜呑みにしてはいけないとエディトリアリストは指摘。
結局は、臨床医自らが、臨床研究論文、ガイドライン、あるいはレビュー論文を批判的吟味できないといけないということで、そのためには相当なスキルが要求されると思います。
コクランライブラリやEBM guidelinesでは、単純かつ分かりやすい評価基準を使ったGRADEシステムを採用していますが、”アウトカム報告バイアス”はlimitationsのグレードダウン項目の一つで、出版バイアスとは別の要因となっています
