結果の信頼性を低下させる参加者アウトカムデータの欠損（missing outcome data）に関連するバイアスのリスク（RoB）の程度は、すべてのシステマティックレビューの重要な問題です。
たとえば、高いRoBとして欠損データ10%という閾値を設定し、メタアナリシスにおける6件の研究のうち、3件は欠損データなし、3件は12％の欠損データを持つと仮定します。このような場合、どのようにして、エビデンス総体にわたって、参加者の欠損データによるRoBのための等級ダウンをすべきか否かを決定するのでしょうか？

アウトカムデータの欠損がある場合のRoB評価についてGRADEが提案している戦略（imputation：補完、代入）を解説しているものが、JCE GRADEシリーズの#17です。

GRADEが推奨するimputation戦略は、完了追跡参加者と比較した欠損データ参加者におけるアウトカム事象の発生率（relative incidence）を使うもので、欠損データを有する参加者間の未知のオッズと利用可能なデータを持つ参加者間の既知のオッズの関係を使うinformative missingness odds ratio（IMOR）と似たものです。

ここでは、missing outcome dataに対するGRADEによるRoB評価の３つの例を紹介します。

（Clostridium difficile感染を予防するためのプロバイオティクス）
20件のランダム化試験のうち13件で、参加者の5％〜45％がClostridium difficile感染に関するデータの欠損があった。
対照群ではアウトカムデータ欠損者と追跡成功者の間で、イベント発生率が同じであると仮定し、プロバイオティクス群では、アウトカムデータ欠損者の相対発症率（RI）をRI_MPD/FU 1.5, 2.0, 3.0, 5.0という仮定を用いて調査した。結果は、各RIの仮定に対して頑健であることが証明され、RI=5.0でもプロバイオティクスの有益効果は大きく維持され、95％CIは狭い（相対リスク0.50 [0.34〜0.76]）（図１）。
したがって、データ欠損によるRoBに関して、GRADEの等級ダウンなし。

図1：Clostridium-difficile関連疾患を予防するためのプロバイオティクスの感度分析
統合値のみ表示。

（COPDにおけるチオトロピウム対長時間作用性β刺激薬）
4件のランダム化試験からなるシステマティックレビューで、アウトカムは”入院につながるCOPD悪化”である。著者はオッズ比0.87[0.77～0.99]を報告したが、参加者の5％から11％のデータが欠落していた。レビュー著者らは、エビデンスの質を評価するためにGRADEを使用し、欠損データによるRoBの結果としていずれのアウトカムについても等級ダウンとしなかった。完了ケース分析では、OR 0.83 [0.73、0.94]であった。
 
メタアナリシスの介入群での全体的なイベント発生率は16％であり、RI_MPD/FU比が1.5, 2.0, 3.0の可能性があると考えた。 5.0のRI_MPD/FUはありそうにないと考えられた（この場合、参加者の80％が悪化のために入院したであろう）。
統計的有意性は、RI_MPD/FU2.0の仮定では境界であり（OR、0.89 [0.79〜1.00]）、RI_MPD/FU3.0では消失した（図2）。したがって、欠損データによるRoBのために等級ダウンあり。

図2：安定したCOPDにおけるチオトロピウム対長時間作用性β刺激薬の感度分析

（COPDにおける運動訓練中の非侵襲的換気（Non-invasive ventilation：NIV））
2件のランダム化試験からなるシステマティックレビューで、アウトカムは”自転車エルゴメータの耐久時間の変化”である。完了ケース分析では、平均差58.68 [3.76〜113.59]であったが、2件の研究における参加者の21.6％と34.5％のデータが欠落していた。レビュー著者らは、GRADEを使用して、欠損データによるバイアスのリスクを低いと評価した。

GRADEのmissing dataに関するRoB評価指針にしたがって、欠損データに関する説得できる仮定を使って、RoBを再評価した。結果の頑健性は第1戦略（含まれている各試験の両群の欠落データの平均スコアは、検討中の試験の対照群の平均スコアと等しいと仮定）から失われた（平均差42.94 [-4.79 〜90.68]）（図3）。
したがって、欠損データによるRoBのために等級ダウンあり。

図3：COPDにおける運動トレーニング中のNIVの感度分析


 
これらの内容に関しては、GRADE3版のp49～p52「欠損データに関する補完解析と感度メタアナリシス」を参照ください。
一連の補完（代入）戦略においては、”plausible worst case”の仮定が重要です。

なんらかの意思決定には常に合意形成が必要で、例えば診療ガイドライン（CPG）におけるエビデンスの確実性につながるバイアスのリスク（RoB）も同様です。システマティックレビュー（SR）を２～３人で実施したとしても、ガイドライン作成チーム全体で見直したところ、さまざまな評価となって、メンバー内の意見の一致がどの程度かを客観的に判断できないという状況があり得ます。

そのような場合には、合意の程度と（非合意があるならば）不一致項目を知る必要があり、そのための判断ツールを紹介したいと思います。なお、この手法は、他のどこかで発表されているものではなく、その妥当性も検証されていませんので、利用や解釈は各自で検討をお願いします。

仮想ランダム化臨床試験におけるRoB評価の一致率

方法： (1) ある研究のRoBを、SRチームを含めたパネルメンバー10人でコクランRoBを使って評価する。 RoB評価は、以下のCochrane (RoB2) の6ドメインに従う。   #1: ランダム化プロセスのRoB   #2: 意図した介入からの逸脱によるRoB（介入への割り付けの影響）   #3: 意図した介入からの逸脱によるRoB（介入への遵守の影響）   #4: アウトカムデータ欠損によるRoB   #5: アウトカム測定によるRoB   #6: 報告結果の選択におけるRoB   (2) 全メンバーによる研究のRoB評価を、Cohen Kappa (K)の一致率をR(*)、STATA(**)を使って解析処理する。 具体的には、6つのドメインにおけるRoBに関して、Low=1、 Some concerns=2、High=3とスコア化し、10人のメンバーの評価について全体の一致度、および各ドメイン評価の全体評価への影響力をleave-one-out design解析（あるドメイン評価を除外しての全体の一致率を評価する）で判定する。

この解説において用意した仮想データは以下である。 すなわち、ドメイン＃6は全員の評価が完全に一致しているが、その他のドメイン（#1～5）は評価にばらつきがある。

結果： 統計ソフトRを使ってCohen kappa値(***)を算出すると、全ドメインに関する評価のK値は0.58で、“中程度の一致”であった。 RoBドメインの行番号を除いたCohene係数を降順に表示したものが以下である。 すなわち、”ドメイン#4や#3の評価を”解析から除外すると”全体のkappa係数がさらに大きくなり、全体の一致率の低下にドメイン#4や#3が大きく寄与していることが分かる。逆に”ドメイン#1や#6を除外すると”、全体の一致率としてのK値が低下する。 このことから、ドメイン#4, #3が全体評価の一致率低下に影響を及ぼしている可能性が高いと判断できる。   この結果をより分かりやすく提示したものが以下である。 ドメイン#4の評価結果を”除外すると”、全体の一致率としてのK値は0.63に上昇する。ドメイン#5や#6を除外すると、全体の一率（K）は0.5台に低下する。 つまり、“かなりの一致（K値>0.6）”を、“中程度の一致（0.4～0.6）”に低下させている因子は、#4と#3だろうと考えられた。

結論： 上記から、全体の評価の一致率（K）が中等度もしくは低い場合には、このようなleave-one-out design手法を使って、一致率低下に関与しているドメインを客観的にピックアップすることができる。 また、RoB評価に際しては、場合によっては（2～3人による評価ではなく）より多くのCPG関連メンバーによるRoB評価と合意が必要であり、そのための判断の一致率評価が必須だろう。

*:この解析で使用したKappa（Cohen. Siegel）一致率は、私の友人の對馬栄輝先生（弘前大学大学院 保健学研究科 総合リハビリテーション科学領域、http://personal.hs.hirosaki-u.ac.jp/~pteiki/）に作成していただきました。R-code。

**:STATAコマンドadmetan

***:Cohenの一致率は、医学文献ユーザーズガイド３版の19.3章、あるいは、
診療ガイドラインのためのGRADEシステム第２版の追加資料-8を参照。

SRにおいて、”欠損値（missing data）”は、Risk of biasのうちの”不完全なアウトカム報告”につながります。
“missing data”のある試験をどのように対処すべきかという問題に対して、‘‘worst-case scenario,’’を始めとしたさまざまな補完戦略（imputation strategy）があります。GRADEmemberによる関連論文が発表されており、2値アウトカムのケースの解析法が以下の図です。

●2値アウトカム:
Addressing Dichotomous Data for Participants Excluded from Trial Analysis: A Guide for Systematic Reviewers
http://www.ncbi.nlm.nih.gov/pubmed/23451162

●連続アウトカム：
・同じ尺度の場合：
Addressing continuous data for participants excluded from trial analysis:a guide for systematic reviewers
http://www.ncbi.nlm.nih.gov/pubmed/23774111

・異なる尺度の場合：
Addressing continuous data measured with different instruments for participants excluded from trial analysis:a guide for systematic reviewers
http://www.ncbi.nlm.nih.gov/pubmed/24613497

でもって、さらにGRADE working groupは、missing dataに伴うrisk of biasのグレードダウン評価を補完戦略で考え、さらに診療ガイドラインのエビデンスの質評価にも利用いようと主張しています。

Risk of bias評価のツールとしては、RevManを利用することが最も簡単ですが、STATAでも可能です。
STATAを使ったrisk of bias評価については、GRADE教科書2版において記載していますが、STATAコマンドが以下です（STATA version 13）。

●STATAコマンド：

●Risk of biasの結果：

●全体的なRisk of bias(rob)：
ひとつのアウトカムに関する、研究全体のrobは、当該アウトカムに関する評価ドメインの重要性や各研究の寄与率を勘案して決定します。

全体的なrob評価として、各研究のrobを、low=0, unclear=-1, high=-2としてスコアリングし、寄与率（重み）を乗じて、総合スコアを算出する方法もあります。
例：以下の評価では、寄与率を考慮したスコアは、-0.234であり、”採用した研究全体のrisk of biasに関してはグレードダウンとはしない”という判定になります。

注：GRADE working groupは、（アウトカムによってドメインの重要性が異なるため）このようなスコアリングによる判定を勧めてはいません。