なんらかの意思決定には常に合意形成が必要で、例えば診療ガイドライン（CPG）におけるエビデンスの確実性につながるバイアスのリスク（RoB）も同様です。システマティックレビュー（SR）を２～３人で実施したとしても、ガイドライン作成チーム全体で見直したところ、さまざまな評価となって、メンバー内の意見の一致がどの程度かを客観的に判断できないという状況があり得ます。

そのような場合には、合意の程度と（非合意があるならば）不一致項目を知る必要があり、そのための判断ツールを紹介したいと思います。なお、この手法は、他のどこかで発表されているものではなく、その妥当性も検証されていませんので、利用や解釈は各自で検討をお願いします。

仮想ランダム化臨床試験におけるRoB評価の一致率

方法： (1) ある研究のRoBを、SRチームを含めたパネルメンバー10人でコクランRoBを使って評価する。 RoB評価は、以下のCochrane (RoB2) の6ドメインに従う。   #1: ランダム化プロセスのRoB   #2: 意図した介入からの逸脱によるRoB（介入への割り付けの影響）   #3: 意図した介入からの逸脱によるRoB（介入への遵守の影響）   #4: アウトカムデータ欠損によるRoB   #5: アウトカム測定によるRoB   #6: 報告結果の選択におけるRoB   (2) 全メンバーによる研究のRoB評価を、Cohen Kappa (K)の一致率をR(*)、STATA(**)を使って解析処理する。 具体的には、6つのドメインにおけるRoBに関して、Low=1、 Some concerns=2、High=3とスコア化し、10人のメンバーの評価について全体の一致度、および各ドメイン評価の全体評価への影響力をleave-one-out design解析（あるドメイン評価を除外しての全体の一致率を評価する）で判定する。

この解説において用意した仮想データは以下である。 すなわち、ドメイン＃6は全員の評価が完全に一致しているが、その他のドメイン（#1～5）は評価にばらつきがある。

結果： 統計ソフトRを使ってCohen kappa値(***)を算出すると、全ドメインに関する評価のK値は0.58で、“中程度の一致”であった。 RoBドメインの行番号を除いたCohene係数を降順に表示したものが以下である。 すなわち、”ドメイン#4や#3の評価を”解析から除外すると”全体のkappa係数がさらに大きくなり、全体の一致率の低下にドメイン#4や#3が大きく寄与していることが分かる。逆に”ドメイン#1や#6を除外すると”、全体の一致率としてのK値が低下する。 このことから、ドメイン#4, #3が全体評価の一致率低下に影響を及ぼしている可能性が高いと判断できる。   この結果をより分かりやすく提示したものが以下である。 ドメイン#4の評価結果を”除外すると”、全体の一致率としてのK値は0.63に上昇する。ドメイン#5や#6を除外すると、全体の一率（K）は0.5台に低下する。 つまり、“かなりの一致（K値>0.6）”を、“中程度の一致（0.4～0.6）”に低下させている因子は、#4と#3だろうと考えられた。

結論： 上記から、全体の評価の一致率（K）が中等度もしくは低い場合には、このようなleave-one-out design手法を使って、一致率低下に関与しているドメインを客観的にピックアップすることができる。 また、RoB評価に際しては、場合によっては（2～3人による評価ではなく）より多くのCPG関連メンバーによるRoB評価と合意が必要であり、そのための判断の一致率評価が必須だろう。

*:この解析で使用したKappa（Cohen. Siegel）一致率は、私の友人の對馬栄輝先生（弘前大学大学院 保健学研究科 総合リハビリテーション科学領域、http://personal.hs.hirosaki-u.ac.jp/~pteiki/）に作成していただきました。R-code。

**:STATAコマンドadmetan

***:Cohenの一致率は、医学文献ユーザーズガイド３版の19.3章、あるいは、
診療ガイドラインのためのGRADEシステム第２版の追加資料-8を参照。