最終的に、「GRADEを利用したとする基準」を使って、今回の診療ガイドラインを評価すると、以下のようになります。
上顎前歯が突出した小児に対する早期矯正治療に関する診療ガイドライン2016
http://www.grade-jpn.com/jp_grade/deppa_2016.html
AGREE評価にも問題があると思います。
ただし、注意すべきは以下の点です。
1. この評価は、GRADEの使いかたとして問題があり、採用エビデンスからは、そのような推奨にはなりえない
2.（経験やスキルが未熟で）不適切な矯正歯科治療が実施されている状況が問題なので、その実態を是正するために”推奨反対”ということならば、それは別次元の問題。
でも、診療ガイドラインには、”矯正治療には有害イベントはない”とも記載していますよね。
国内においては相変わらず不適切な手法による診療ガイドラインが乱造されています。
GRADEを利用した国内の診療ガイドライン
IOM基準による国内の診療ガイドライン作成法の評価
しかし、そろそろ診療ガイドラインの質（特に作成手法の厳格さ）を評価する精度の高いツールを開発すべきと思います。既存のツールとしては、以下のようなものが代表的ですが、アウトカム中心のエビデンスの質評価、アウトカム全般にわたるbody of evidenceの質と推奨の強さの関連づけなど、診療ガイドラインの質を十分に評価できるかどうか疑問があります。
●WHOチェックリスト
●COGSチェックリスト
●AGREE-II
●IOM基準
●GIN-McMasterチェックリスト
●Cluzeau評価ツール
●Shaneyfelt基準
（これらについては、「診療ガイドラインのためのGRADEシステム第2版」も参照ください）
つまり、たとえば単純にAGREE-II評価を実施して高得点といって合意しても、肝心の作成手法の項目がいいかげんなものでは診療ガイドラインの質は高くないということです。
以下は、海外GRADE working group memberからのコメントです。
Dear Morio,
Not sure whether someone has done that yet.
Personally, I would not use AGREE as it is not specific enough and is mostly about process.
Same with IOM. It is a good starting point and broader framework, but if one would have to closely look at “guideline quality”, I think we need a new checklist. I believe there was a group that worked on this using Delphi technique, but I have not seen the final result.
There are fundamental issues at play: for example, do you rate studies or outcomes? You could have a traditional study based rating system in place and get top points with AGREE and IOM and I would argue unless you do outcomes based rating, such as GRADE, the guideline would be
worthless to me. Example in point: both IDSA and AASLD use GRADE, but they broke all their internal rules when they teamed up and created a
separate guideline for hep c that does not use GRADE. And predictably, it is very poor. They knew that if they use GRADE, there would be much less chance of injecting their opinion into the guideline.
So for any guideline rating system to be sensible, people would have to agree that you cannot give appropriate recommendations without
separating study level issues from rating our confidence in the effect of an outcome and ideally be able to trade-off outcomes against each
other (which, as you know, we did in AT9). I haven’t seen any guidelines similar in quality as AT9 but of course there’s a good chance I missed other excellent guidelines.
Best,
Yngve
On 2/28/2016 10:52 PM, morio aihara wrote:
> Dear Yngve
> Is there any report that compared the quality of some CPG (with GRADE vs non-GRADE) using AGREE criteria or IOM standard?
> Best wishes,
> Morio
結局のところ、診療ガイドライン作成においてGRADEシステムを利用することが、診療ガイドイランの質評価ツール基準を満たす確率が高くなる方向です。
したがって診療ガイドラインはGRADEを使って作成し、そしてGRADEを適切に利用したかどうかを外部評価を含め客観的に判断することがベストと思います。
その方法は？・・・・
「GRADEを利用したと言えるための最小限の基準」を利用することでしょう。
作成された診療ガイドラインの質がどのようなものかを、一般の人が分かるように、AGREE-II評価スコアを提示してほしい。
また、その評価に際しては、ガイドライン作成グループとは独立した外部評価委員が実施すべきと思います。
●AGREE-IIスコアによる診療ガイドラインの質評価基準に関しては、いくつかのものがあるが、統一されたものはない。
●例１：CTFPHC’s criteria for high quality. (ref)
◦Scores of at least 60% on the AGREE II domains of Scope and Purpose, Rigor of Development and Editorial Independence.
◦At least 60% consensus on the question that asks whether the CPG should be supported or not
●例２：Quality evaluation (ref)
A guideline is ‘‘strongly recommended’’ if the majority of items (above 4 items) scored above 50%. A guideline is ‘‘recommended’’ if 3 main items scored above 50%. A guideline is ‘‘not recommended’’ if all items scored below 50%.
●例３：Overall quality Assessment of guidelines (ref)
6 CPGs were strongly recommended as a result of the majority of item (above 4 items) scores being above 50%.These CPGs were produced mainly by the National Guideline Clearinghouse (NGC). One guideline [22] is recommended due to 3 main item scores being above 50%. One CPG [24] was not recommended due to all item scores being below 50%.
*************************************************************
国内ガイドライン例、90％評価得た「高血圧治療ガイドライン2014」：
私には、このガイドラインは、AGREE-IIの基本的かつ最も重要なドメインである、「領域3. 作成の厳密さ RIGOUR OF DEVELOPMENT」の#9を十分に満たしているとは思えない。そもそも、Minds2007システムを使ったガイドラインであり、総体エビデンスの概念が欠如している手法です。
CPG作成法の根幹に疑問があるのに、90%評価点というのは、どうかなあと。
****************************************************************
以上から、ガイドライン作成グループとは独立した組織が、一定の基準を使って、AGREE-IIスコアとともに、high-quality, moderate quality, low-qualityなどと評価すべきと思います。
そうしないと、多くの読者はガイドラインの質を知ることができないですが、実際にAGREE-IIスコア基準作成となると難題ですね。
他にどんなガイドライン質評価基準があるのかを、次回紹介したい。
診療ガイドラインの質評価には、AGREE-IIがよく使われます。
Quality assessment of asthma clinical practice guidelines: a systematic appraisal.
Chest. 2013 Aug;144(2):390-7. doi: 10.1378/chest.12-2005.
===================================================================
●方法：喘息に関する診療ガイドラインの質をAGREE-IIを使って4人が評価。
●対象：2000-2010年に公開された18件の国際的もしくは各国の喘息CPG。
●結果：AGREEスコアが60%以上のCPGはひとつもなく、低スコアはAGREEドメイン３の「rigor of development」の不適切さによるものだった。
「rigor of development」の平均スコアは 32.4% (range: 8.0%-64.0%)で、最も高スコア（64%）のCPGは、GRADEを使った英国CPGだった（ちなみに、GRADEアプローチを使った喘息CPGは1件のみ）。
●AGREE-IIによる全体的な評価としては、「推奨する」＝0%、 「条件付きで推奨する」＝50%, 「推奨しない」＝50% であった。ただし、期間2001-2006年対2007-2009年を比較すると、CPGの全体的な質は改善している（p=0.01)。（下記Table 3）
●結論：本領域における意思決定のための信頼性の高いツールとしての高質CPGを提供するためには、さらなる努力が必要である。
===================================================================
*Chest誌には同時にGuyattとVandvikのeditorialsが掲載され、ガイドラインの質改善とGRADEについて解説しています。
*いかに AGREE-IIのドメイン3 （作成の厳密さ rigor of development）が大切かということでしょう。
*本レビューにおいては、日本の喘息ガイドラインは選択されていません（理由：language searchにおいて日本語は含まれず）。・・・選択されたとしても「推奨しない」であることは確かです。
なぜならば、AGREE-IIのドメイン３に相当する項目に不備があります。
→IOM基準による国内ガイドライン作成法の評価（喘息予防・管理ガイドライン 2012）
診療ガイドラインの定義（IOM）は、「エビデンスのシステマティックレビューと複数の治療選択肢の利益と害の評価に基づいて患者ケアを最適化するための推奨を含む文書」です（信頼できる診療ガイドライン）。
そして、当ブログで繰り返し述べているように、システマティックレビューにおいては、アウトカム別に総体エビデンスを評価する必要があります（システマティック・レビューのための基準）。
これらの基本は、診療ガイドライン作成において AGREE-II評価項目のうちのDOMAIN 3. 「作成の厳密さ（RIGOUR OF DEVELOPMENT）」に該当しています。したがって、国内ガイドライン作成者には総体エビデンスを評価しているかどうかを見直していただきたい。なお、body of evidenceの考え方は、下記文献(1)にあるように、Gordon GuyattらのEBMの基本です。
■参考資料：
EBM、あるいは診療ガイドラインにおける総体エビデンスの考え方に関しては、以下の参考書を参照ください。
●医学文献ユーザーズガイド 根拠に基づく診療のマニュアル 第2版（相原他、凸版メディア、2010）
●診療ガイドラインのためのGRADEシステム（相原他、凸版メディア、2010）
AGREEチェックリスト（Appraisal of Guidelines for Research & Evaluation Instrument）はAGREE Instrumentによって作成（2001年9月に公表）された、診療ガイドラインの質を方法論的に評価するための汎用ツールです。
ガイドラインを報告する際の必要事項の標準化として、ガイドライン標準化協議会Conference On Guideline Standardization（COGS）もありますが、現在はAGREEが基本です。
AGREEの日本語訳は、東邦大学医学メディアセンターのホームページからからダウンロード可能です。http://www.mnc.toho-u.ac.jp/mmc/guideline/agree-jpn09.pdf
現実の診療において目の前の患者に対してなんらかの推奨（診断や治療など）を決断する臨床医、あるいは推奨作成が基本方針であるガイドライン作成者は、ガイドラインの報告・評価ツールとGRADEとの関係（下図）を理解しておく必要があります。
すなわち、GRADEは「ガイドラインを評価するものではない｣、「推奨の強さは、エビデンスレベルだけではなく、benefits／downsidesバランス、価値観や好み、などを考慮して決定する｣、という点に注意しないといけません。
注：この図は、本記事の内容に合わせるために、あえて全体図の1/3のみを表示しています（GRADE memberのDr. Yngve Falck-Ytterより提供）。図の残り部分は、part-2,3で紹介します。
図：
