（SRチーム）
不精確さに関しては、機能的矯正装置もヘッドギアも”深刻な不精確さなし”。

この判断は、GRADEの基準からすると（基本的には）誤っていると思います。

OIS基準：
(1) 機能的矯正装置群では、総数343人、ヘッドギア群では総数238人（補完なし）～285人（補完あり）で、総サンプル数>400件という基準を満たしていないので、imprecisionあり(-１)です。

(2) そんなアバウトな計算ではなくもっと厳格に判断したいというかたは、たとえば、ヘッドギア治療の場合には、2件の研究からの統合標準偏差とMIDを使って算出される平均差を使って、サンプルサイズを計算することも可能です。ヘッドギアの場合は、MID=0.2 SDとすると、overjetの差として9mm vs 8.7mmほどとなり、この差をα=0.05、β＝0.2で検出するためのサンプルサイズは、総数686人（各群343人）となり、imprecisionあり(-1)です。
MID=0.3 SDならば、総数388人です。いずれのMIDを使っても、不精確さの評価は変わりません。

OIS基準が満たされていない以上は、第2の基準である「閾値」に関して評価する必要性はないことになります。
しかし、”もしOISが満たされていた場合（例、MIDを0.4 SDに設定）”の閾値の考え方を説明すると、以下のような判断になります。

閾値：
効果推定値が設定したMIDをまたいでいるならば、imprecisionあり(-1)です。MIDがわからないという場合は、”中等度の効果（Δとして0.5 SD）”をまたいでいるならば、imprecisionあり(-1)です。

さて、ヘッドギアの治療に関する効果推定値は、補完（imputation）ありなしで（つまり脱落例を考慮するかで）、違っていました（2c: inconsistency参照）。したがって、本例では、２つのケースで考える必要があります。

上図はヘッドギアの効果を、imputationありなしで比較したものです（2C: inconsistency）。コクランCDSR著者やSRチームが採用したように、上段のimputation(-)では、統合効果推定値（緑の菱形）は、SMD=-0.18で（最大でも-0.24）小さな効果です。信頼区間は、中央の黒の縦線の、”効果なし”を含んでいるものの、最少重要差（MID）を示す赤と緑の縦点線をまたいでいないことから、”不精確さなし”と判断します。

一方、下段のimputation(+)では、点推定値は-0.46と中等度の効果で、最大-0.77の大きな効果の可能性を示しています。SRにおいては、信頼区間が”効果なし”の中央の黒の縦線をまたいでいないため、”不精確さなし”と判断します。
ただし、SRにおけるこの判断は、CPGにおいて推奨を決定する際には、（一般的に、推奨作成では他のアウトカムを考慮するので）、変わってくるかもしれません。なぜならば、治療介入による利益は、MID-B（左の緑点線: benefit）をまたいでいることから、臨床的な最少重要差“以下”の可能性もあります。
なお、ここで提示している補完例は、介入群にワーストシナリオを、対照群にベストシナリオを選択した”保守的な”判断（strategy2）です。つまり、補完で有意差があれば、介入治療の効果は真の効果を示す可能性が高いという意味ですが、しかし補完によって”精度”が高まっているとはいえないようです。

【私の判断】
・ヘッドギア矯正（早期vs早期青年期）：imprecisionによる rate down (-1)
・機能的矯正（早期vs早期青年期）：imprecisionによる rate down (-1)

等級ダウンの理由は、OISを満たしていないから（<400）。

１．OIS 算出には，αエラー（通常，0.05）とβエラー（通常，0.10 〜 0.20），および現実的な効果［相対リスク減少 (relative risk reduction: RRR) の大きさとしての「相当の利益あるいは害」として20 ～ 30%（通常25%）］，対照群でのイベント発生率（入手可能なすべての研究の中央値，あるいは主要な研究から得られたイベント発生率）を設定する。

以下は、ARDS2016診療ガイドラインのCQ7におけるアウトカム死亡（短期）を使ったOIS計算例です。

このデータの精確さを評価すると以下のようになります。
********************************
α~0.05, β=0.2, m=1（両者のサンプル比）、RR＝0.77、対照群イベント＝0.274
からは・・・・前向き研究としてのサンプルサイズ＝609/片群（total 1218）です。
従って、実際の研究における参加者数＝2170例であり、OIS基準をクリアしているという判断です。
（ちなみに、RR=0.8としても、片群＝970で、OISを満たしています）

つまり、”OIS基準に関しては、no imprecision”という判断になります。

（SRチーム）
非直接性に関しては、深刻な問題なし。

直接性には全く問題ないと思います。

GRADEpro GDTを使って、PICOについて直接性を評価すると、以下のようになります。

GRADE working groupの調査研究によれば、エビデンスの質評価に関する５つのドメインの中で、最も情報がよく提供されているのが”非直接性(indirectness)”です。それだけ、評価が簡単ということなのでしょう。

一方、最もuninformativeなドメインが、”imprecision”です。私自身でも、国内のエビデンスプロファイルにおいて適切に記載しているものをみたことがないです。

【私の判断】
・ヘッドギア矯正（早期vs早期青年期）：indirectnessによるRate downなし
・機能的矯正（早期vs早期青年期）：indirectnessによるRate downなし

（SRチームとCPGパネル）
機能的矯正装置に関する3件の研究において、I²=62%の異質性（固定効果モデル）があったので、一段階等級ダウンとした(-1)。ヘッドギアの介入に関する2件の研究においては、I²=21%の異質性（固定効果モデル）であり、等級ダウンなしと判定した。最終的には、機能性矯正装置に関するエビデンスの質＝「低」、ヘッドギアに関するエビデンスの質＝「低」と判定した。推奨は、エビデンスの質＝「艇」として、介入を一括して「推奨反対」と決定した。

SRチームの解析とCPGパネルの方針にはいくつかの深刻な問題があります。
その説明の前に、”設定したCQに従って”、同じCDSRデータを解析してみます。つまり、”いかなるタイプの矯正装置による早期矯正治療を含む”というからには、すべてを一括して矯正治療の効果が共通しているのだろうという視点からのスタートです。

なお、ここでは、固定効果ではなく、ランダム効果を使って比較する方針としました。なぜなら、そもそも米国や英国のデータで国別の違いがあり、当該コクランCDSRには、人種差があるようだと記載されています。さらには、本SRパネル自身がFlorida研究のRoB評価において、層別ブロックランダム化でさえ予後バランスがとれない可能性があると指摘しています。以上から、本件については、原則としてIV method, random effect modelを解析の基本としました。

RevMan5による結果が以下です（missing dataに関するImputation strategy: complete case analysis）

さて、効果がないであろう”機能的矯正”について検討する前に、まずは”ヘッドギア”について解析結果を紹介します。

■ヘッドギア：早期 vs 早期青春期（Fig.1）

●結果：欠損値（missing data）を補完して対処すると、Headgearに関する効果推定値の方向は補完しても変わりませんが、strategy-2,-3 と設定を変えるとむしろ統計的に有意差がある改善効果（出っ歯改善としてのMD減少）になるという結果です。異質性はI^2=0%。

この結果からも、RoB評価における”incomplete outcome data”によって等級ダウンする必要がないことがわかります。I^2=0%であり、当然ながらinconsistencyの等級ダウンもなしです。

次に、機能的矯正装置に関して、imputationを行った解析が以下です。

■機能的矯正装置：早期 vs 早期青春期(Fig.2)

●結果：補完をした感度分析でも、機能的矯正装置は、早期治療と早期青年期治療では差がなく、いかなる状況でも、overjetを減らすことができそうにないという結果です。高い異質性（I^2=66%）の原因は、unclear RoBが関与しているかもしれませんが、Low RoB研究では、MDは増加し統計的に有意であり、bestシナリオでも無効ですから、総合的に「無効ないし有害」と判断できます。当然ながら、エビデンスの等級は、1段階ダウンです。

最後に、ヘッドギアと機能的矯正を、脱落率を考慮して比較すると、どうでしょうか

■ヘッドギア vs 機能的矯正装置：早期 vs 早期青春期(Fig.3)

●結果：ヘッドギア矯正は機能的矯正に比べて、（strategy-2、-3において）統計的に有意なoverjet改善効果があることを示しています。異質性はI^2=0%で、等級ダウンの必要はありません。

以上から、早期治療 vs 早期青年期治療の比較においては、ヘッドギアは有効であるが（Fig.1）、機能的矯正は差がない(Fig.2)ということになります。双方の比較においも、ヘッドギアが有効である（Fig 3）という結論になります。

【私の判断】
（ヘッドギア矯正に関して）inconsistencyによるRate downなし
（機能的矯正に関して）inconsistencyによるRate down(-1)

[ポイント]
・異質性が高いならば、その原因を探索すべきである
・missing dataがあるならば、補完（imputation）による感度分析を実施して、inconsistencyを評価する
・説明のつかない異質性があって、当該介入の効果が大きく異なるならば、別々の推奨を作成する

結論：RoB、inconsistencyの評価を実施して、ヘッドギアに関しては(1)RoBによる等級ダウンの必要なし、(2)inconsistencyについても等級ダウンの必要なし、(3)早期 vs 早期青年期の比較においては、２つの推奨を提示する必要があり、ヘッドギアは推奨する方向、機能的矯正装置は推奨しない方向、という判断です。

analytic frameworkにおける、CQにおける介入の比較は、「緑」 vs 「赤」です。矯正治療の介入の種類が、機能的矯正もあれば、ヘッドギア矯正もあるといった内容です。

（SRチーム）３件の研究のうち２件のrisk of biasが高いため２段階グレードを下げた

このSRチームの評価と対応には問題があります。
#1.
GRADEのrisk of biasに関する評価基準では、”非常に深刻な限界（risk of bias）による2段階等級ダウン”は、「個々の研究レベルでは、１つ以上の基準に重大な限界があり、効果推定値の確実性を大幅に低くする」場合です。そして、「複数の研究レベルでは、ほとんどの情報がhigh risk of bias研究から得られている」もので、最終的に「真の効果が効果推定値とは大きく異なるかもしれない」という評価を意味しています（GRADE初版の表1.5.1-7、GRADE２版の表4.4-11）。

このGRADE基準を使う限り、上記のRoB summaryで提示されている限界が、２段階もの等級ダウンに値しているとは考えにくいです。

具体的に、Florida_1998研究における限界の１つは、層別ランダム化となっていますが、このランダム割り付けによって、出っ歯の患者の予後バランスがくずれるとは到底思えないです。

SRチームやCPGパネルが、「否、非常に深刻な限界で、２段階低下は妥当である」と主張したとしましょう。それならば、現在提示している効果推定値がどのように大きく異なるのだろうかという疑問が（GRADEの定義から）出てきます。しかし、現実には、CPGパネルは、「他の重要なアウトカムに関してエビデンスが示されたとしても今回と同様に差がないという結果になる可能性が高い。差がないという結果になる可能性が高い研究に対して、今後の研究を実施することさえ難しい」と記載しています。

つまり、Risk of biasの評価においては、”今後の研究で効果推定値が大きく変わる可能性があるため等級ダウン(-2)”としていながら、推奨作成の結論では、”提示している効果の程度は変わらない”という、非常に矛盾した評価過程になっています。

#2.
SRチームのメンバーには、「いやいや、”random allocation”だけではなく、”incomplete outcome data (attrition bias)^*a”があるので２段階低下なんです」と主張する方もいるかもしれませんが、（特に診療ガイドライン作成を目的としている以上は）、それもまた安易で不適切な判断です。

採用研究のうち、Florida_1998研究とNC_2004研究では20%台の脱落があり、コクランCDSR著者らは、”high risk of bias”と評価しています。数年前までは少なくともSRにおいては、それもありでしょう。しかし、なんの疑いもなく著者らの判定をそのまま利用することは、好ましくないです。

さて、attrition biasにおけるドロップアウト率は、メタアナリシスにおける効果推定値を左右する可能性があり、欠損値（missing data）について適切に検討する必要があります。つまり、対照群あるいは介入群における脱落率を考慮して、その欠損値を補完（imputation）するといったアプローチです。

この手法は、多重代入法 (multiple imputation)ともいわれるもので、1987年にRubinが発表しています(*1)。統計学者には馴染みのある解析手法のようです。

GRADE working groupが加わったMcMaster大学チームは、（2値アウトカムあるいは連続アウトカムにかかわらず）欠損値のある（attrition bias）エビデンスのRoBを評価する際に活用するためのimputation手法を開発提案し、コクランレビュー作成者にもその活用を推奨しています(*2)。

したがって、「脱落率が多いので、深刻なRoBあり⇒等級ダウン」、とはならないケースもあれば、感度分析しだいでは、その逆のパターンもあり得るわけです。

ちなみに、上記の3研究について、補完（imputation）解析をすると、”RoBとして等級ダウンする必要がない”という結果になりました。

また（容易に想像できることですが）、この欠損値に対する補完は、RoBとimprecisionが密接に関連していることをも示しています。
imputationの詳細は別に説明しますが、RoB(-1) + imprecision (-1) = (-2)にはならない、というとてもわかりやすい例ともいえます。

#3.
「imputationは実施せずに、われわれはあえて2段階の等級ダウンとした」ということあれば（実際このようにしたと思いますが）、それもまた適切な対応とは思えません。
なぜならば、今度はHigh RoBとLow RoBとの違いを比較する必要が出てくるからです。双方に違いがあるならば、High RoBを採用して統合することは不適切ということになります（コクランhandbook）。2段階も等級を下げたエビデンスを使って推奨を作成するわけにはいかない、Low RoBを使う必要がある、ということです。

【私の判断】：RoBによるRate downなし

・body of evidenceに関するRoB評価において、（本ケースにおいては）2段階等級ダウンは間違っている
・不完全アウトカムデータに関しては、補完（imputation）という解析を加えて検討しないといけない
・本記事で使う個別研究のRoB基準(**)からは、等級ダウンするとしても1段階(-1)であろう
・High RoBとLow RoBを統合してはいけない
・SRチームは、既存CDSRに提示されるエビデンスの質を、そのまま引用してはいけない

上顎前歯が前突した小児（7～11歳）に対しては、早期矯正治療を実施することを推奨する
矯正治療は、機能的矯正装置ではなく、ヘッドギアを使った治療とする（GRADE1B）

矯正治療学会とは真逆の決定となりましたが、これは、他の研究エビデンスを使わずに、ガイドライン作成チームが利用したCDSRだけを使って判断すると、という条件です。

●エビデンスの検索

この方針は好ましいものではないです。なぜなら、RCTやSRに限定してエビデンスを検索すると、懸案の矯正治療に関する害や、ベースラインを含めた有効率などに関する情報を得る機会を失することにつながります。また、国内における研究についても、質の有無は別に評価するとしても、介入による予後の推定につながるであろう”観察研究”を検索する必要があります。この点については、先月、ARDS診療ガイドライン2016において詳述しました。

また、本診療ガイドラインは、特に医療資源を考慮した内容のようなので、”国内研究”の有効率に関する調査は（医薬経済、医療経済の観点からも）必須と思いますが、この点についてもさまざまな考えがあってよいかと思います。