（SRチーム）
不精確さに関しては、機能的矯正装置もヘッドギアも”深刻な不精確さなし”。

この判断は、GRADEの基準からすると（基本的には）誤っていると思います。

OIS基準：
(1) 機能的矯正装置群では、総数343人、ヘッドギア群では総数238人（補完なし）～285人（補完あり）で、総サンプル数>400件という基準を満たしていないので、imprecisionあり(-１)です。

(2) そんなアバウトな計算ではなくもっと厳格に判断したいというかたは、たとえば、ヘッドギア治療の場合には、2件の研究からの統合標準偏差とMIDを使って算出される平均差を使って、サンプルサイズを計算することも可能です。ヘッドギアの場合は、MID=0.2 SDとすると、overjetの差として9mm vs 8.7mmほどとなり、この差をα=0.05、β＝0.2で検出するためのサンプルサイズは、総数686人（各群343人）となり、imprecisionあり(-1)です。
MID=0.3 SDならば、総数388人です。いずれのMIDを使っても、不精確さの評価は変わりません。

OIS基準が満たされていない以上は、第2の基準である「閾値」に関して評価する必要性はないことになります。
しかし、”もしOISが満たされていた場合（例、MIDを0.4 SDに設定）”の閾値の考え方を説明すると、以下のような判断になります。

閾値：
効果推定値が設定したMIDをまたいでいるならば、imprecisionあり(-1)です。MIDがわからないという場合は、”中等度の効果（Δとして0.5 SD）”をまたいでいるならば、imprecisionあり(-1)です。

さて、ヘッドギアの治療に関する効果推定値は、補完（imputation）ありなしで（つまり脱落例を考慮するかで）、違っていました（2c: inconsistency参照）。したがって、本例では、２つのケースで考える必要があります。

上図はヘッドギアの効果を、imputationありなしで比較したものです（2C: inconsistency）。コクランCDSR著者やSRチームが採用したように、上段のimputation(-)では、統合効果推定値（緑の菱形）は、SMD=-0.18で（最大でも-0.24）小さな効果です。信頼区間は、中央の黒の縦線の、”効果なし”を含んでいるものの、最少重要差（MID）を示す赤と緑の縦点線をまたいでいないことから、”不精確さなし”と判断します。

一方、下段のimputation(+)では、点推定値は-0.46と中等度の効果で、最大-0.77の大きな効果の可能性を示しています。SRにおいては、信頼区間が”効果なし”の中央の黒の縦線をまたいでいないため、”不精確さなし”と判断します。
ただし、SRにおけるこの判断は、CPGにおいて推奨を決定する際には、（一般的に、推奨作成では他のアウトカムを考慮するので）、変わってくるかもしれません。なぜならば、治療介入による利益は、MID-B（左の緑点線: benefit）をまたいでいることから、臨床的な最少重要差“以下”の可能性もあります。
なお、ここで提示している補完例は、介入群にワーストシナリオを、対照群にベストシナリオを選択した”保守的な”判断（strategy2）です。つまり、補完で有意差があれば、介入治療の効果は真の効果を示す可能性が高いという意味ですが、しかし補完によって”精度”が高まっているとはいえないようです。

【私の判断】
・ヘッドギア矯正（早期vs早期青年期）：imprecisionによる rate down (-1)
・機能的矯正（早期vs早期青年期）：imprecisionによる rate down (-1)

等級ダウンの理由は、OISを満たしていないから（<400）。

（SRチーム）
非直接性に関しては、深刻な問題なし。

直接性には全く問題ないと思います。

GRADEpro GDTを使って、PICOについて直接性を評価すると、以下のようになります。

GRADE working groupの調査研究によれば、エビデンスの質評価に関する５つのドメインの中で、最も情報がよく提供されているのが”非直接性(indirectness)”です。それだけ、評価が簡単ということなのでしょう。

一方、最もuninformativeなドメインが、”imprecision”です。私自身でも、国内のエビデンスプロファイルにおいて適切に記載しているものをみたことがないです。

【私の判断】
・ヘッドギア矯正（早期vs早期青年期）：indirectnessによるRate downなし
・機能的矯正（早期vs早期青年期）：indirectnessによるRate downなし

（SRチームとCPGパネル）
機能的矯正装置に関する3件の研究において、I²=62%の異質性（固定効果モデル）があったので、一段階等級ダウンとした(-1)。ヘッドギアの介入に関する2件の研究においては、I²=21%の異質性（固定効果モデル）であり、等級ダウンなしと判定した。最終的には、機能性矯正装置に関するエビデンスの質＝「低」、ヘッドギアに関するエビデンスの質＝「低」と判定した。推奨は、エビデンスの質＝「艇」として、介入を一括して「推奨反対」と決定した。

SRチームの解析とCPGパネルの方針にはいくつかの深刻な問題があります。
その説明の前に、”設定したCQに従って”、同じCDSRデータを解析してみます。つまり、”いかなるタイプの矯正装置による早期矯正治療を含む”というからには、すべてを一括して矯正治療の効果が共通しているのだろうという視点からのスタートです。

なお、ここでは、固定効果ではなく、ランダム効果を使って比較する方針としました。なぜなら、そもそも米国や英国のデータで国別の違いがあり、当該コクランCDSRには、人種差があるようだと記載されています。さらには、本SRパネル自身がFlorida研究のRoB評価において、層別ブロックランダム化でさえ予後バランスがとれない可能性があると指摘しています。以上から、本件については、原則としてIV method, random effect modelを解析の基本としました。

RevMan5による結果が以下です（missing dataに関するImputation strategy: complete case analysis）

さて、効果がないであろう”機能的矯正”について検討する前に、まずは”ヘッドギア”について解析結果を紹介します。

■ヘッドギア：早期 vs 早期青春期（Fig.1）

●結果：欠損値（missing data）を補完して対処すると、Headgearに関する効果推定値の方向は補完しても変わりませんが、strategy-2,-3 と設定を変えるとむしろ統計的に有意差がある改善効果（出っ歯改善としてのMD減少）になるという結果です。異質性はI^2=0%。

この結果からも、RoB評価における”incomplete outcome data”によって等級ダウンする必要がないことがわかります。I^2=0%であり、当然ながらinconsistencyの等級ダウンもなしです。

次に、機能的矯正装置に関して、imputationを行った解析が以下です。

■機能的矯正装置：早期 vs 早期青春期(Fig.2)

●結果：補完をした感度分析でも、機能的矯正装置は、早期治療と早期青年期治療では差がなく、いかなる状況でも、overjetを減らすことができそうにないという結果です。高い異質性（I^2=66%）の原因は、unclear RoBが関与しているかもしれませんが、Low RoB研究では、MDは増加し統計的に有意であり、bestシナリオでも無効ですから、総合的に「無効ないし有害」と判断できます。当然ながら、エビデンスの等級は、1段階ダウンです。

最後に、ヘッドギアと機能的矯正を、脱落率を考慮して比較すると、どうでしょうか

■ヘッドギア vs 機能的矯正装置：早期 vs 早期青春期(Fig.3)

●結果：ヘッドギア矯正は機能的矯正に比べて、（strategy-2、-3において）統計的に有意なoverjet改善効果があることを示しています。異質性はI^2=0%で、等級ダウンの必要はありません。

以上から、早期治療 vs 早期青年期治療の比較においては、ヘッドギアは有効であるが（Fig.1）、機能的矯正は差がない(Fig.2)ということになります。双方の比較においも、ヘッドギアが有効である（Fig 3）という結論になります。

【私の判断】
（ヘッドギア矯正に関して）inconsistencyによるRate downなし
（機能的矯正に関して）inconsistencyによるRate down(-1)

[ポイント]
・異質性が高いならば、その原因を探索すべきである
・missing dataがあるならば、補完（imputation）による感度分析を実施して、inconsistencyを評価する
・説明のつかない異質性があって、当該介入の効果が大きく異なるならば、別々の推奨を作成する

結論：RoB、inconsistencyの評価を実施して、ヘッドギアに関しては(1)RoBによる等級ダウンの必要なし、(2)inconsistencyについても等級ダウンの必要なし、(3)早期 vs 早期青年期の比較においては、２つの推奨を提示する必要があり、ヘッドギアは推奨する方向、機能的矯正装置は推奨しない方向、という判断です。

analytic frameworkにおける、CQにおける介入の比較は、「緑」 vs 「赤」です。矯正治療の介入の種類が、機能的矯正もあれば、ヘッドギア矯正もあるといった内容です。

（SRチーム）３件の研究のうち２件のrisk of biasが高いため２段階グレードを下げた

このSRチームの評価と対応には問題があります。
#1.
GRADEのrisk of biasに関する評価基準では、”非常に深刻な限界（risk of bias）による2段階等級ダウン”は、「個々の研究レベルでは、１つ以上の基準に重大な限界があり、効果推定値の確実性を大幅に低くする」場合です。そして、「複数の研究レベルでは、ほとんどの情報がhigh risk of bias研究から得られている」もので、最終的に「真の効果が効果推定値とは大きく異なるかもしれない」という評価を意味しています（GRADE初版の表1.5.1-7、GRADE２版の表4.4-11）。

このGRADE基準を使う限り、上記のRoB summaryで提示されている限界が、２段階もの等級ダウンに値しているとは考えにくいです。

具体的に、Florida_1998研究における限界の１つは、層別ランダム化となっていますが、このランダム割り付けによって、出っ歯の患者の予後バランスがくずれるとは到底思えないです。

SRチームやCPGパネルが、「否、非常に深刻な限界で、２段階低下は妥当である」と主張したとしましょう。それならば、現在提示している効果推定値がどのように大きく異なるのだろうかという疑問が（GRADEの定義から）出てきます。しかし、現実には、CPGパネルは、「他の重要なアウトカムに関してエビデンスが示されたとしても今回と同様に差がないという結果になる可能性が高い。差がないという結果になる可能性が高い研究に対して、今後の研究を実施することさえ難しい」と記載しています。

つまり、Risk of biasの評価においては、”今後の研究で効果推定値が大きく変わる可能性があるため等級ダウン(-2)”としていながら、推奨作成の結論では、”提示している効果の程度は変わらない”という、非常に矛盾した評価過程になっています。

#2.
SRチームのメンバーには、「いやいや、”random allocation”だけではなく、”incomplete outcome data (attrition bias)^*a”があるので２段階低下なんです」と主張する方もいるかもしれませんが、（特に診療ガイドライン作成を目的としている以上は）、それもまた安易で不適切な判断です。

採用研究のうち、Florida_1998研究とNC_2004研究では20%台の脱落があり、コクランCDSR著者らは、”high risk of bias”と評価しています。数年前までは少なくともSRにおいては、それもありでしょう。しかし、なんの疑いもなく著者らの判定をそのまま利用することは、好ましくないです。

さて、attrition biasにおけるドロップアウト率は、メタアナリシスにおける効果推定値を左右する可能性があり、欠損値（missing data）について適切に検討する必要があります。つまり、対照群あるいは介入群における脱落率を考慮して、その欠損値を補完（imputation）するといったアプローチです。

この手法は、多重代入法 (multiple imputation)ともいわれるもので、1987年にRubinが発表しています(*1)。統計学者には馴染みのある解析手法のようです。

GRADE working groupが加わったMcMaster大学チームは、（2値アウトカムあるいは連続アウトカムにかかわらず）欠損値のある（attrition bias）エビデンスのRoBを評価する際に活用するためのimputation手法を開発提案し、コクランレビュー作成者にもその活用を推奨しています(*2)。

したがって、「脱落率が多いので、深刻なRoBあり⇒等級ダウン」、とはならないケースもあれば、感度分析しだいでは、その逆のパターンもあり得るわけです。

ちなみに、上記の3研究について、補完（imputation）解析をすると、”RoBとして等級ダウンする必要がない”という結果になりました。

また（容易に想像できることですが）、この欠損値に対する補完は、RoBとimprecisionが密接に関連していることをも示しています。
imputationの詳細は別に説明しますが、RoB(-1) + imprecision (-1) = (-2)にはならない、というとてもわかりやすい例ともいえます。

#3.
「imputationは実施せずに、われわれはあえて2段階の等級ダウンとした」ということあれば（実際このようにしたと思いますが）、それもまた適切な対応とは思えません。
なぜならば、今度はHigh RoBとLow RoBとの違いを比較する必要が出てくるからです。双方に違いがあるならば、High RoBを採用して統合することは不適切ということになります（コクランhandbook）。2段階も等級を下げたエビデンスを使って推奨を作成するわけにはいかない、Low RoBを使う必要がある、ということです。

【私の判断】：RoBによるRate downなし

・body of evidenceに関するRoB評価において、（本ケースにおいては）2段階等級ダウンは間違っている
・不完全アウトカムデータに関しては、補完（imputation）という解析を加えて検討しないといけない
・本記事で使う個別研究のRoB基準(**)からは、等級ダウンするとしても1段階(-1)であろう
・High RoBとLow RoBを統合してはいけない
・SRチームは、既存CDSRに提示されるエビデンスの質を、そのまま引用してはいけない

上顎前歯が前突した小児（7～11歳）に対しては、早期矯正治療を実施することを推奨する
矯正治療は、機能的矯正装置ではなく、ヘッドギアを使った治療とする（GRADE1B）

矯正治療学会とは真逆の決定となりましたが、これは、他の研究エビデンスを使わずに、ガイドライン作成チームが利用したCDSRだけを使って判断すると、という条件です。

●エビデンスの検索

この方針は好ましいものではないです。なぜなら、RCTやSRに限定してエビデンスを検索すると、懸案の矯正治療に関する害や、ベースラインを含めた有効率などに関する情報を得る機会を失することにつながります。また、国内における研究についても、質の有無は別に評価するとしても、介入による予後の推定につながるであろう”観察研究”を検索する必要があります。この点については、先月、ARDS診療ガイドライン2016において詳述しました。

また、本診療ガイドラインは、特に医療資源を考慮した内容のようなので、”国内研究”の有効率に関する調査は（医薬経済、医療経済の観点からも）必須と思いますが、この点についてもさまざまな考えがあってよいかと思います。

●CQ 上顎前歯が前突した小児（7歳から11歳）に対する早期矯正治療は有効か？

パネルの決断：上顎前歯が前突した小児（7歳から11歳）に対し、早期矯正治療を行わないことを強く推奨する。（GRADE 1C）

実際のCQにおいては、次のように記載されています。

P: 混合歯列期の小児（7歳から11歳）、永久歯列期の早期青年期（12歳から16歳）
  性別や地理的条件は問わない
I: 固定式、可撤式を問わない。機能的矯正装置、顎外固定装置など、
  いかなるタイプの矯正装置による早期矯正治療を含む
C: 早期矯正治療を行わず、永久歯列期の早期青年期にのみ矯正治療を受けた患者
O: Final Overjet(*), 外傷、害作用

* Overjetとは、出っ歯の程度を評価するために、上歯と下歯を噛み合わせたときにできる隙間の距離（mm）の程度のようで、数値が大きい（広い）ほど、その程度がひどいことになります。
（このOverjetの程度を評価するツールとしては、頭部レントゲン検査が使われることが多いようですが、一律ではないようです）。

一見、明確なようなCQですが、推奨事項とセットで考えると、とても違和感のある内容です。
つまり、この推奨文を読むと、だれでも「そんなに早期矯正治療はよくないのか！、どんなタイプの矯正装置でもよくないのだね！」と解釈します。
GRADEを使った「強い推奨反対」だから、”強い推奨”の定義からしても、そのように臨床家が考えるのは当然のことです。

でも、GRADEのエキスパートは、この推奨文だけをみても、とても違和感を抱くことでしょう。一つ目は、低いエビデンスからの強い推奨で、しかも治療反対だからです。早期矯正治療には、よほどの害や負担があるのだろうと推測します。

二つ目は、CQが３つ設定したにもかかわらず、推奨文は一つだけです。どのタイプの出っ歯に対してのものだろうかがとても分かりにくいですが、いずれにしても、”強い推奨反対”です。

さて、出っ歯の小児は、いくつかの理不尽ないじめ被害にあい、登校拒否や、自殺にもつながるような問題があるようです。子どもの親からすれば、とても深刻な問題だろうと思えます。このような観点から、「すべての症例においてできるだけ早期に治療を開始するほうがいい」というような考えをもつ臨床家もいるのでしょう（会長の序文から）。
従って、おそらく早期矯正治療を強く推奨するグループと、それに反対するグループがいることがうかがえます。

しかし、いずれも、GRADEが規定する「質の低いエビデンスからの強い推奨作成」の論拠にはならないように思います（GRADE2版の表4.5-4：「整合性に欠ける推奨」を参照）。

診療ガイドラインにおいては、そのスコープ作成において、推奨作成の目的が、どの視点（Perspective）なのかを明確にしないといけません。なぜ国内においてこの診療ガイドラインが必要なのか、矯正治療における実態はいかなるものなのか、矯正治療がかかえる問題がどのようなものかを序文で説明し、我々は、個々の患者のアウトカム改善を重視する、あるいは医療費の問題を含めた医療政策を重視する、といった視点に関する明確さです。しかし、記載されている内容は、いきなりの「推奨事項」につづく「目次」、委員長の「序文」、「チーム構成」、「作成手順」～～というものです。わずかにCPG作成の項で、”歯科矯正臨床における問題点と診療ガイドライン”が記載されていますが、具体的な治療の有効性の程度や治療による害や報告データもなければ、特定の理論に基づいて矯正治療を実施しているとするその理論がなんなのかさっぱりわかりません。

介入に関しても、”いかなるタイプの矯正装置による早期矯正治療を含む”という内容のCQに決定しています。キックオフ会議で、”そんな総くくりで、大丈夫なのかよ”と意見するパネルはいなかったのでしょうか。

とにかく、ガイドラインの目的が分かりにくいです。これは、スコープ作成時にanalytic frameworkを活用していないことが推測されますし、そもそも、診療ガイドラインというならば、診断・予後、治療・害について、さまざまな角度（視点）から検討していないとおかしいです。

いささか厳しいコメントとなりますが、その理由は、GRADE working groupによる適切な英語論文が毎年発表されていながらの、GRADE日本書籍がありながらの、Mindsメンバーの指導を得ての、この内容では、いかがなものかと思うからです。

もっとも、上記で指摘したいくつかのポイントは、今後、本診療ガイドラインにおける「推奨とエビデンスの質」の決定の不適切さをより明確にすることになりますので、一連の評価には納得していただけるものと確信しています。