採用したシナリオでは、正味の効果推定値の精確さは「very low」のため、このステップ5は不要ですが、一般的なコンテキスト化アプローチにおけるプロセスのためにさらに解説します。

エビデンスの確実性を評価するためのGRADEアプローチには、確実性を等級ダウンする5つのドメイン（バイアスのリスク、非一貫性、非直接性、不精確さ、出版バイアス）があります。そして、これらのGRADEドメインのうち、不精確さ（imprecision）は95%信頼区間を調べることにより（確実性の程度として）定量化できます。

エビデンスの確実性は概念的には、他の４つのGRADEドメインは不確実性の分布（効果の大きさや方向を含めて）を拡張および修飾することで、95％CIによって定義された確実性を超える最良効果推定値を実現し、この確実性の範囲の幅は、他の4つのドメインに関する懸念の程度に依存します。つまり懸念が大きいほど、95%CI範囲の推定値の確率分布の幅と形状を知ることができなくなります（図１：「診療ガイドラインのためのGRADEシステム3版」より引用）。

図１．GRADEのエビデンスドメインの確実性に基づいた確実性範囲の概念化

重大アウトカムとして設定した４つアウトカムの中で、（参照基準としての全原因死亡以外は）SAEが差別化要因（differentiator）ですが、アウトカムの全てがエビデンス総体の確実性（不精確さドメインを除いた）は、「low」でした（Step2参照）。
従って、
「重大なアウトカムに対する確実性等級付けと正味の効果推定値の精確さと一致する確実性等級付けのうち、最も低いものが正味利益の確実性を表す」というルール（Alper, JCE 2019）、あるいは上記の確実性範囲の概念から、シナリオにおける正味の効果推定値の確実性は「very low certainty」となります。

 
***つづき
（Step6: アウトカムの相対的重要性の範囲を検討する）

 

ステップ３における重要性調整効果推定値のそれぞれを併合して得られた正味の効果推定値（Net effect estimate）は34.5 (95%CI: -333 ～ +402）でした。
 
つまり、”点推定値は有害で、信頼区間の下限は有益で、その絶対値は正味の効果の点推定値よりも大きい”ことから、95%CIからは”possible net harm”と判定されました（図１）。オンラインツールでも同じ結果です。
 
■図１．重要性調整効果推定値を併合したアウトカム全般の正味の効果

しかし、前回述べたように、この分類は、”正味の利益の閾値＝０”として利益と害のバランスを評価していることに注意が必要です。
 
つまり、ガイドラインパネルは、推奨のための「最小重要差（MID）」（場合によっては「中程度の大きさ」、「大きい効果」など）を判断するための「閾値」を設定して判断する必要があります（図２）。

 
■図２．正味の効果推定値の精確さの分類


（以前の表にMIDを追加：http://aihara.la.coocan.jp/?p=11045）

 

シナリオの場合に、全原因死亡が参照単位であることからMID=2%（20/1000）と設定したと仮定すると、正味の効果推定値の点推定値（3.5%）は小さな効果の閾値（2%）に近く、信頼区間は大きな利益と大きな害（ここでは閾値=10%と設定したと仮定）の閾値を超えています（図３）。

つまりエビデンスの精確さ（precision）の評価は、“possible no net effect or harm” (-3) で、very low certaintyに３段階等級ダウンとなります。

しかし現実的なパネルの判断としては、”非常に低い確実性”と判断するパネルもあれば、”95%CIが非常に広く真の効果がどこにあるのか全くわからないので、確実性のレベルを評価する意味が全くない”と判断するパネルもあり得ます。

 
■図３．利益と害の閾値をMID=2%、大きな効果の閾値を10%

 
以上から、Alper論文に準じたGRADE評価としては以下の２つの可能性となります。

 
***つづき（step5:「重大なアウトカムの効果推定値の確実性を検討」）

 

各効果推定値にその相対的重要性の乗数を掛けたものを、重要性調整効果推定値（Importance-adjusted effect estimate）と呼びます。

シナリオの重要性調整効果推定値（患者1000人あたりの全原因死亡に相当するイベントの単位で）は、以下のようになります。

 
重要性調整効果推定値のそれぞれの点推定値を合計すると、正味の効果の点推定値（Net effect estimate）が得られます（この例では34.5）。

統計式（原著論文に記載）により、正味の効果の95%信頼区間も計算が可能で、本シナリオの場合の正味の効果は、34.5 (95%CI: -333 ～ +402）です。
これは「不精確さの分類」としては、possible net harmですが、論文にも記載されているように、”正味の利益の閾値＝０”として利益と害のバランスを評価していることに注意が必要です。

また、正味の効果推定値のオンライン計算ツールも利用可能です。
https://computablepublishing.us/net-effect/

 

４つのアウトカムの絶対効果推定値を95%CIを含めて入力し、相対的重要性を乗じて得られた正味の効果の推定値が図１です。
表中の”Importance Multiplier”が相対的重要性で、この推定値に関しても、”possible net harm”と表示されています。

図１：


 

4つのアウトカムの重要性調整絶対効果と、併合した正味の効果推定値をプロットしたものが以下の図２です。

図２

 
***つづき（step4）
次回は、アウトカム全般にわたる正味の効果推定値の精確さ（precision）の分類です。

 

シナリオでは、ステップ１において、併合される重大アウトカムを４つ決定しました。
各アウトカムに関するエビデンスとその確実性を要約したものが以下です。

完全コンテキスト化アプローチ（Alper）の第2ステップは、各アウトカムの相対的重要性を決定することです。
（Alper BS, Oettgen P, Kunnamo I, et al. Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. doi:10.1136/bmjopen-2018-027445）

切除可能な口腔がん患者の術前化学療法による全原因死亡を参照単位（＝１）として、他の３つのアウトカムの重要性を決定します（ここでは、アウトカムの重要性の質的９ポイント評価のスコアは関係ないです）。
相対的重要性は以前は「価値観や選好（values and preferences）」と呼ばれていたものですが、例えば決断分析の効用値のように、不効用値（disutility = [1- utility]）を使って、相対的重要性に変換できます。

相対的重要性や不効用値に関する詳細は、原著あるいは、GRADE3版の2.4-2.1(p146)を参照ください。
（当然ながら、GRADE3版で解説している完全コンテキスト化アプローチは、今回説明している手法とは異なっています。Hultcrantz M, et al. The GRADE Working Group clarifies the construct of certainty of evidence. JCE 2017）

相対的重要性は、単一の変換係数（例、0.7）というよりは、”ある範囲”というのが現実的ですが、この点は後のステップ６で感度分析することになります。
いずれにしても、このステップ２（各アウトカムの相対的重要性の決定）では利害関係者の意見を反映させる必要があります。

全原因死亡が参照単位とみなされ、例えば、患者が局所再発と遠隔転移の重要性を全原因死亡の0.5倍、重篤有害事象を0.7倍重要視するという仮定から始めてみます。

 
***つづき（step3）

 

パネルがピックアップしたアウトカムは8個ですが、診療ガイドラインに必要なアウトカムの選択（完全コンテキスト化アプローチ）には３つの原則があります。

1. 推奨の決定に重大なもの（7～９点）を選出する（非重要[１～３点]、重要だが非重大[４～６点]は除外）。
2. 統合のためのアウトカムは互いに独立していて重複しない（相関なし）（効果推定値の重複カウントを回避するためであり、例えば、複合アウトカム[総死亡]とそのアウトカムの一つ以上のコンポーネント[心血管死]の両方を含めることはできない。しかし、現実的には完全に独立していることは稀であり、そのために感度分析を実施）。
3. アウトカムの数は最大７個まで選出する（重大性の低いアウトカムによる正味の効果推定値への希釈的影響を回避するため）。

 
以上から最終的に、利害関係者を含めたパネルは併合するアウトカムとして、全原因死亡、局所再発、遠隔転移、重篤有害事象と決定したというシナリオとします。
これが、完全コンテキスト化アプローチの第一ステップです。

 
***つづき（step2）

 

歯科口腔癌診療ガイドライングループのメンバーからの依頼利用例は、同ガイドライン2019版のSR1でした。
今後の解説では、一部のデータや解釈には仮想的なものが含まれていることに注意してください。

CQ:切除可能で外科治療を予定している症例に対して術前療法を行なうべきか？
> P:切除可能な口腔がん患者
> I:術前化学療法あり
> C:術前化学療法なし
> O：（術後アウトカムとして）：　

歯科口腔癌診療ガイドライン2019の本CQに関するPICの適格基準の詳細を私は知りませんので、具体的には以下のものとして進めます。
***********************
P＝切除可能な進展例（Stage２～３以上）
I＝術前化学療法は、シスプラチンやフルオロウラシルを中心とした多剤併用療法で、２～３サイクル
C＝術前化学療法なし
***********************

アウトカム（O）について、パネル（SRチームや利害関係者を含む）は、最初に以下のように8個選出したと仮定します。

１．全原因死亡（OS）
２．口腔癌そのものによる死亡
３．局所再発
４．遠隔転移
５．発熱性好中球減少
６．QOL
７．重篤有害事象（Grade 3以上）
８．口腔機能

＠＠＠．これらのアウトカム（#7以外）は口腔癌診療ガイドライン2019に記載されているものから選択しました（相原）

***つづき

歯科口腔癌診療ガイドライングループのメンバーからGRADEの「完全コンテキスト化アプローチ」を解説してほしいという依頼がありましたので、口腔がん診療ガイドライン2019の例（一部のデータは仮想）を使って、推奨作成までのプロセスを解説したいと思います。

CQ:切除可能で外科治療を予定している患者に対して術前療法を行なうべきか？

P:切除可能な口腔がん患者
I:術前化学療法あり
C:術前化学療法なし
O：（術後アウトカムとして）：

本CQに関して、アウトカムを設定することになります。

 

偶然にも、複数のガイドライン作成パネルから、RCTとNRSの統合に関する問い合わせをいただいた。

両者の統合には保守的なスタンスが良いかと思いますが・・・
以下を参照してほしいです。

EBMを超えてー診療ガイドラインの動向や新しい潮流（GRADE）を中心として_相原.pdf

同じような質問がでてくる可能性があるので、（FBFのボードでコメントした内容を、健忘録として）自分のブログでも紹介しておきます。

■質問：
推奨を作成する際の、複数の重大なアウトカムの価値観（相対的重要性）を２倍、あるいは５倍など設定するのは・・・なにか決まりがあるのか？

■回答：GRADEの基本方針：

(臨床的に常識な範囲であれば)、1.5倍でも、3倍でも、5倍でもなんでもよいのです。　(^^;
要するに、重大なアウトカムのいくつかで効果の方向が異なる場合の感度分析ですから。

単純に２～３個のアウトカム（推奨に必要なcritical outcomes）があると想定して考えると以下です
(注：マイナスがbeneficialで、プラスはharmfulです)。

 
●シナリオ１：死亡が20増加(= +20)/1000、臨床回復30増加 (= -30)/1000
この場合、差し引き（単純計算では）20-30 = -10/1000　で、net benefitとなり「推奨する」の方向性です。
ところが、死亡アウトカムの価値観を臨床回復の2倍と想定すると、20*2 – 30 = +10/1000で、net harmとなり「推奨しない」の方向性となります。
また、1.5倍ならば正味の利益はゼロとなります。

なので、シナリオ１の場合は、価値観の設定でアウトカム全般にわたる効果は非常にばらつき、「推奨はできないだろう、そもそも死亡が20/1000自体から推奨できないだろう」、というような判断過程と思います。

 
●シナリオ２：死亡が10増加（= +10)、臨床回復100増加（= -100)/1000、重篤有害事象 50減（= -50)/1000
この場合、単純計算では、10-100-50 = -140/1000で、net benefitです。
死亡アウトカムを5倍の価値観と設定しても、この正味の利益効果は相殺されません。
なので、シナリオ２の場合には、「推奨」となります。

この辺の価値観としての効用値設定は、パネルが判断することになりますが・・・・

以上は、単純な点推定値の差し引きで、全般の点推定値を表示しましたが、実際は、アウトカム全般の95%CIを参考にnet estimateの不確実性（特にimprecision）を評価することになります。

***********
このような内容は、なんどかブログでも説明していますし、GRADE３版の2章でも同じようなことを記載しています。
http://aihara.la.coocan.jp/?p=11165
http://aihara.la.coocan.jp/?p=11045

ブログで説明している以下のサイトでも算出可能です。
https://bmjopen.bmj.com/content/9/6/e027445.long

Guidelines rarely used GRADE and applied methods inconsistently: a methodological study of Australian guidelines
DOI:https://doi.org/10.1016/j.jclinepi.2020.10.017

論文の内容は以下です。
******************************
豪州では国家保健医療研究評議会が診療ガイドライン作成においてGRADEを使用することを提唱している。

●目的：オーストラリアの診療ガイドライン（2011～2018）についてGRADEが適切に利用されているかを調査した。

●方法：GRADEプロセスをGRADE compliance score（7つの基準とサブ項目：全17項目）で評価し、AGREE-IIのドメイン３（Rigour of development Score：Scaled Domain Score [SDS]）と比較した。

●結果：51の異なる団体からの240件のガイドラインが見つかり、無効リンクのために取得できなかった106件を除いた134件からデータを抽出した。
134件中15件（11%）のみが、GRADE手法に従ったと報告していた。
15件のガイドラインにおけるGRADE compliance scoreは、4件が80%以上であったが、0%から100%までばらついていた（表A）。

GRADE compliance score（中央値59%）とSDS（中央値71%）には正の相関があった（r=0.86, R2=0.75)
GRADE が低いドメインとしては、アウトカムに関する患者にとっての重要性ランキングの不明瞭さ、エビデンスの確実性評価の方法論的情報の欠如などであった。

●結論：
オーストラリアのガイドラインではGRADEの使用が増加しているが、さらなる取り込みと適用のための戦略が必要である。

*************
注1．GRADE_compliance_score.pdf

注2．この研究はCOVID-19パンデミックの前に開始されたため、その後典型的なガイドライン作成プロセスに大幅な変更が加えられました。例、MAGICapp living guidelines