試験逐次解析（Trial Sequential Analysis: TSA）の追加です。

TSAマニュアルにも記載されていますが、TSAソフトウエアは、RevMan5データを直接取り込むことが可能です。

手順は以下です（詳細はTSAマニュアルを参照）。

1. RevMan5のデータをcsvファイルとして保存する。
2. TSA/RM5Converterを使ってcsvファイルを取り込む。
3. CSVファイルをTSAファイルに変換する（新規作成フォルダの中に変換データファイルができる）。
4. TSA.jarを使って、変換TSAファイルを読み込む。
5. α消費境界（Alpha-spending boundary）や、重複対数法則（law of the iterated logarithm）などの有意性検定のための必要項目を入力する。
6. 異質性（Diveristy）に関する調整の効果も評価する。

 
●例： GRADE3版で記載している、”Thrombophilia”メタアナリシス仮想例の心筋梗塞アウトカムに関するエビデンスを、RevManから変換したものが以下です。

 


 
●そのデータをTSAソフトウエアで解析したものが以下です。
（STATAを使った解析結果、GRADE3版のp139とほぼ同じ値です）

 


 
いずれにしても、GRADEのimprecisionにおける評価には、さまざまな注意点があります。

近年ますます増加している試験逐次解析（Trial Sequential Analysis: TSA）に関する論文のひとつです。

Increased Risks for Random Errors are Common in Outcomes Graded as High Certainty of Evidence. J Clin Epidemiol. 2019 Feb;106:50-59.

一部を省略した抄録です。

目的:エビデンスの確実性（CoE）が”高”として評価されたアウトカムにおけるランダム誤差のリスクを評価する。
GRADE (Grading of Recommendations Assessment, Development, and Evaluation)を使って高いCoEと等級付けされた2値アウトカムのCochraneレビューをランダムに100件選択した。ランダム誤差のリスク増加を検出するために、タイプI（α= 0.05）とタイプII（β= 0.10）の誤差に対して従来の閾値を用いた試験逐次解析（Trial Sequential Analysis: TSA）を実施した。

結果：全体的に、高いCoEと等級付けされたアウトカムの38％（95％信頼区間：28％～47％）でランダム誤差のリスク増加があった。害を評価したアウトカムは、利益を評価したアウトカムよりも頻繁に影響を受けた（47％対12％）。ランダム誤差の増加によるアウトカムを再グレード付けすると、現在のガイドラインにおいて74％がグレードダウンされるべきであることを示した。

結論：
意思決定者は、高いCoEと等級付けされたアウトカムは、しばしば、偽陽性や偽陰性の所見が高いことを認識する必要がある。

***************
エビデンス総体の確実性を評価するGRADEドメインの一つであるimprecisionの評価において、このTSAが非常に重要であり、今後はルーチン化される可能性があります。さらにはGDTに採用さえる可能性もあります。

例１．TSAの４つのシナリオの概略図


[判断]
A: Z=1.96と交差しており有意な結果であるが、Z曲線はmonitoring boundary（赤線superiority）と交差していないので、誤った効果である（false positive）。
B: 情報サンプルサイズに到達する前に、Z曲線はmonitoring boundary（赤線superiority）と交差し、確固なエビデンスである（true positive ）
C: Z=1.96と交差しておらずエビデンスが欠如している。すなわち、このメタアナリシスは必要情報量より少ない患者を組み入れている（false negative）。
D: 必要情報量には到達しているが、Z曲線はmonitoring boundary（赤線non-superiority, futility）と交差しており、介入効果はない（true negative）。

 
例２．TSA user manualより


[判断]
禁煙による効果は20%を超えないことを80%で検出力で示すfutility boundaries（non-superiority）を交差している。つまり、確信性と効果サイズの仮定内では、介入効果はない（真陰性）。
 
例3. STATA ”Trial sequential boundaries for cumulative meta-analyses”の記載データを利用したTSA
レビューの目的は、”One of the review’s aims was to determine whether the position (high versus low) of the tip of an umbilical arterial catheter led to clinical vascular compromise.”



[判断]
５件の研究からなるメタアナリシスである。
必要サンプルサイズに到達する前に、Z曲線はmonitoring boundary（赤線superiority）と交差し、確固なエビデンスである。

なお、TSA解析においては、
異質性を利用したサンプルサイズに関しても、従来のI²使用ではなく、D² (Diversity) 、さらにはI²を使ったHeterogeneity-adjusted information size, D²を使った、Diversity-adjusted infromation sizeを考慮することもできます。
（詳細はマニュアルや関連文献を参照）

試験逐次解析（Trial Sequential Analysis: TSA）に関しては、「診療ガイドラインのためのGRADEシステム　3版」のp139でも紹介しています（書籍ではSTATA使用例を紹介）。

また、TSAは、STATAソフトウエアを使って実施可能ですが、フリーのTSAソフトウエア（β版）でも解析可能です（上記の例３）。
http://www.ctu.dk/tools-and-links/trial-sequential-analysis.aspx

 
システマティックレビューや診療ガイドラインを作成する方々は、TSAを活用する必要があると思います。

 

TSAを使った実際の論文のいくつかを紹介します。

結果の信頼性を低下させる参加者アウトカムデータの欠損（missing outcome data）に関連するバイアスのリスク（RoB）の程度は、すべてのシステマティックレビューの重要な問題です。
たとえば、高いRoBとして欠損データ10%という閾値を設定し、メタアナリシスにおける6件の研究のうち、3件は欠損データなし、3件は12％の欠損データを持つと仮定します。このような場合、どのようにして、エビデンス総体にわたって、参加者の欠損データによるRoBのための等級ダウンをすべきか否かを決定するのでしょうか？

アウトカムデータの欠損がある場合のRoB評価についてGRADEが提案している戦略（imputation：補完、代入）を解説しているものが、JCE GRADEシリーズの#17です。

GRADEが推奨するimputation戦略は、完了追跡参加者と比較した欠損データ参加者におけるアウトカム事象の発生率（relative incidence）を使うもので、欠損データを有する参加者間の未知のオッズと利用可能なデータを持つ参加者間の既知のオッズの関係を使うinformative missingness odds ratio（IMOR）と似たものです。

ここでは、missing outcome dataに対するGRADEによるRoB評価の３つの例を紹介します。

（Clostridium difficile感染を予防するためのプロバイオティクス）
20件のランダム化試験のうち13件で、参加者の5％〜45％がClostridium difficile感染に関するデータの欠損があった。
対照群ではアウトカムデータ欠損者と追跡成功者の間で、イベント発生率が同じであると仮定し、プロバイオティクス群では、アウトカムデータ欠損者の相対発症率（RI）をRI_MPD/FU 1.5, 2.0, 3.0, 5.0という仮定を用いて調査した。結果は、各RIの仮定に対して頑健であることが証明され、RI=5.0でもプロバイオティクスの有益効果は大きく維持され、95％CIは狭い（相対リスク0.50 [0.34〜0.76]）（図１）。
したがって、データ欠損によるRoBに関して、GRADEの等級ダウンなし。

図1：Clostridium-difficile関連疾患を予防するためのプロバイオティクスの感度分析
統合値のみ表示。

（COPDにおけるチオトロピウム対長時間作用性β刺激薬）
4件のランダム化試験からなるシステマティックレビューで、アウトカムは”入院につながるCOPD悪化”である。著者はオッズ比0.87[0.77～0.99]を報告したが、参加者の5％から11％のデータが欠落していた。レビュー著者らは、エビデンスの質を評価するためにGRADEを使用し、欠損データによるRoBの結果としていずれのアウトカムについても等級ダウンとしなかった。完了ケース分析では、OR 0.83 [0.73、0.94]であった。
 
メタアナリシスの介入群での全体的なイベント発生率は16％であり、RI_MPD/FU比が1.5, 2.0, 3.0の可能性があると考えた。 5.0のRI_MPD/FUはありそうにないと考えられた（この場合、参加者の80％が悪化のために入院したであろう）。
統計的有意性は、RI_MPD/FU2.0の仮定では境界であり（OR、0.89 [0.79〜1.00]）、RI_MPD/FU3.0では消失した（図2）。したがって、欠損データによるRoBのために等級ダウンあり。

図2：安定したCOPDにおけるチオトロピウム対長時間作用性β刺激薬の感度分析

（COPDにおける運動訓練中の非侵襲的換気（Non-invasive ventilation：NIV））
2件のランダム化試験からなるシステマティックレビューで、アウトカムは”自転車エルゴメータの耐久時間の変化”である。完了ケース分析では、平均差58.68 [3.76〜113.59]であったが、2件の研究における参加者の21.6％と34.5％のデータが欠落していた。レビュー著者らは、GRADEを使用して、欠損データによるバイアスのリスクを低いと評価した。

GRADEのmissing dataに関するRoB評価指針にしたがって、欠損データに関する説得できる仮定を使って、RoBを再評価した。結果の頑健性は第1戦略（含まれている各試験の両群の欠落データの平均スコアは、検討中の試験の対照群の平均スコアと等しいと仮定）から失われた（平均差42.94 [-4.79 〜90.68]）（図3）。
したがって、欠損データによるRoBのために等級ダウンあり。

図3：COPDにおける運動トレーニング中のNIVの感度分析


 
これらの内容に関しては、GRADE3版のp49～p52「欠損データに関する補完解析と感度メタアナリシス」を参照ください。
一連の補完（代入）戦略においては、”plausible worst case”の仮定が重要です。

なんらかの意思決定には常に合意形成が必要で、例えば診療ガイドライン（CPG）におけるエビデンスの確実性につながるバイアスのリスク（RoB）も同様です。システマティックレビュー（SR）を２～３人で実施したとしても、ガイドライン作成チーム全体で見直したところ、さまざまな評価となって、メンバー内の意見の一致がどの程度かを客観的に判断できないという状況があり得ます。

そのような場合には、合意の程度と（非合意があるならば）不一致項目を知る必要があり、そのための判断ツールを紹介したいと思います。なお、この手法は、他のどこかで発表されているものではなく、その妥当性も検証されていませんので、利用や解釈は各自で検討をお願いします。

仮想ランダム化臨床試験におけるRoB評価の一致率

方法： (1) ある研究のRoBを、SRチームを含めたパネルメンバー10人でコクランRoBを使って評価する。 RoB評価は、以下のCochrane (RoB2) の6ドメインに従う。   #1: ランダム化プロセスのRoB   #2: 意図した介入からの逸脱によるRoB（介入への割り付けの影響）   #3: 意図した介入からの逸脱によるRoB（介入への遵守の影響）   #4: アウトカムデータ欠損によるRoB   #5: アウトカム測定によるRoB   #6: 報告結果の選択におけるRoB   (2) 全メンバーによる研究のRoB評価を、Cohen Kappa (K)の一致率をR(*)、STATA(**)を使って解析処理する。 具体的には、6つのドメインにおけるRoBに関して、Low=1、 Some concerns=2、High=3とスコア化し、10人のメンバーの評価について全体の一致度、および各ドメイン評価の全体評価への影響力をleave-one-out design解析（あるドメイン評価を除外しての全体の一致率を評価する）で判定する。

この解説において用意した仮想データは以下である。 すなわち、ドメイン＃6は全員の評価が完全に一致しているが、その他のドメイン（#1～5）は評価にばらつきがある。

結果： 統計ソフトRを使ってCohen kappa値(***)を算出すると、全ドメインに関する評価のK値は0.58で、“中程度の一致”であった。 RoBドメインの行番号を除いたCohene係数を降順に表示したものが以下である。 すなわち、”ドメイン#4や#3の評価を”解析から除外すると”全体のkappa係数がさらに大きくなり、全体の一致率の低下にドメイン#4や#3が大きく寄与していることが分かる。逆に”ドメイン#1や#6を除外すると”、全体の一致率としてのK値が低下する。 このことから、ドメイン#4, #3が全体評価の一致率低下に影響を及ぼしている可能性が高いと判断できる。   この結果をより分かりやすく提示したものが以下である。 ドメイン#4の評価結果を”除外すると”、全体の一致率としてのK値は0.63に上昇する。ドメイン#5や#6を除外すると、全体の一率（K）は0.5台に低下する。 つまり、“かなりの一致（K値>0.6）”を、“中程度の一致（0.4～0.6）”に低下させている因子は、#4と#3だろうと考えられた。

結論： 上記から、全体の評価の一致率（K）が中等度もしくは低い場合には、このようなleave-one-out design手法を使って、一致率低下に関与しているドメインを客観的にピックアップすることができる。 また、RoB評価に際しては、場合によっては（2～3人による評価ではなく）より多くのCPG関連メンバーによるRoB評価と合意が必要であり、そのための判断の一致率評価が必須だろう。

*:この解析で使用したKappa（Cohen. Siegel）一致率は、私の友人の對馬栄輝先生（弘前大学大学院 保健学研究科 総合リハビリテーション科学領域、http://personal.hs.hirosaki-u.ac.jp/~pteiki/）に作成していただきました。R-code。

**:STATAコマンドadmetan

***:Cohenの一致率は、医学文献ユーザーズガイド３版の19.3章、あるいは、
診療ガイドラインのためのGRADEシステム第２版の追加資料-8を参照。

診療ガイドラインのためのGRADEシステム第3版の電子書籍版が販売開始になりました。

電子書籍の利用には、iPad, iPhone, Androidタブレットのいずれかの端末が必要となります。PCで読むことはできません。

既購入者は、電子書籍ダウンロード用シリアル番号を使って、M2PLUS（会員登録必要：無料）より、ダウンロード可能です。

電子書籍（M2PLUS）利用までの流れ（★M2PLUS_steps.pdf）を参照ください。

前回解説した、乳幼児の睡眠時の姿勢と乳幼児突然死症候群（sudden infant death syndrome: SIDS）について、書籍 FACT FUlNESS (ハンス・ロスリングら、2019)でも記載されている部分を（一部省略して）紹介します。

**************************************************************************************
第2次世界大戦と朝鮮戦争を通じて、戦場から担架で運ばれてくる兵士の中で、仰向けよりもうつぶせのほうが生存率が高いことに、現場の医師や看護師は気づいた。仰向けに寝ていると、自分の吐しゃ物で窒息することが多かったのだ。

うつ伏せになっていると吐しゃ物が口の外に出て、気道はふさがれない。この発見により、兵士を含めて数百万人もの命が救われた。それ以来、うつぶせの「回復体位」が世界標準になった。

しかし、この新たな発見が、当てはめてはいけないケースにまで当てはめられてしまった。うつぶせ寝の効果が証明されたことから、1960年代にはこれまでと正反対の慣習が進められるようになった。昔からの慣習と違って、赤ちゃんはうつ伏せに寝かせたほうがいい、とされるようになったのだ。

赤ちゃんも救命が必要な患者も、いっしょたにしてはいけないものをひとくくりにしてしまったのだ。

赤ちゃんの突然死は減るどころか増えていることデータが示されても、その原因がうつ伏せ寝にあることに誰も気づかなかった。

初めてそれを指摘したのは香港の小児科医グループで、1985年になってからのことである。その指摘があったあとも、ヨーロッパの医師はあまり気にしていなかった。スウェーデンの医学界が間違いを認め方針を変えたのは、それから7年も経ってのことだった。

意識のない兵士と違って、寝ている赤ちゃんは反射神経がきちんと働いて、仰向けでも横を向いて吐き出せる。しかし、筋力が未発達の赤ちゃんの場合は、うつぶせになっていると、自力で重い頭を反り返させて気道を確保することができない。
********************************************************************************************

あおむけ寝「Back to Sleep」キャンペーンは米国では1992～1994年から開始され、日本では、1998年からスタートした。

GRADEシステムによるエビデンスの確実性（certainty of evidence）は・・・　「Moderate（中）」
診療ガイドラインのためのGRADEシステム第3版（p72参照）

「GRADE Approach」が、Medline MeSHの一部になりました！

https://meshb.nlm.nih.gov/record/ui?ui=D000077002

GRADE working groupの影響力は強い。

GRADE jpのHPをリニューアルしました。

今月JAMA3eとGRADE3eを出版することができますが、国内のGRADEシステムの利用を見る限り、EBMの原点にそった適切なGRADE活用とは考えられない現状です。
（「診療ガイドラインのためのGRADEシステム　第2版（2015）」で記載した原則さえ遵守されていません）

一方、GRADE working groupの活動によるGRADEシステムの進展はすさまじく、国内認識とのギャップはますます大きくなっています。

乖離につながっている理由を一つ一つ挙げてもきりがないので、むしろ、GRADEを利用した国内診療ガイドラインを一定の基準で評価することが問題を把握できて最も適切な手段と考えます。

国内の診療ガイドラインのいくつかについては、これまでも評価を開示してきました。
http://www.grade-jpn.com/jp_grade/japanese_grade_cpg.html

しかしながら、このリンクサイトの容量の問題から、今後は本ブログで診療ガイドライン（Mindsが承認し公開）を主体として、GRADE methodologistの視点で評価していきます。

GRADEを使うことは、単に診療ガイドラインに限定するものではなく、システマティックレビュー、医療技術評価、迅速推奨、診断研究スクリーニング、予後研究、ネットワークメタアナリシス、質的研究などを含めたあらゆる臨床研究に共通する理解が要求されます。

疑問がある方は、以下読んでみることを強くお勧めします。

●医学文献ユーザーズガイド 第3版
●診療ガイドラインのためのGRADEシステム 第3版