日本におけるバリデーション研究の紹介

はじめに

RWDは、本来は診療報酬請求などの目的で収集された情報を二次利用するため、研究を行ううえで重要な情報が記録されていないことがあります。さらに、情報が記録されてる場合でも、それが正確なのか、研究でイメージしている状態と本当に一致しているのかが懸念事項としてあげられます。
そのため、RWDを研究に用いる場合には、記録された情報の妥当性(validity)の担保が求められます。

本記事では、情報の妥当性を担保するためのバリデーション研究について、基礎知識や日本におけるバリデーション研究の一覧をまとめました。
本記事がRWDを用いた研究を実施する際の参考になればと思っています。

なぜバリデーション研究が必要なのか

データベースに記録された情報が正確であることに越したことはありません。しかしながら、データベース研究に100%の正確性を求めるのも非現実的です。

そのため、データベースを用いる研究者は、妥当性を向上させるためにさまざまな工夫をしています。例えば、レセプト病名だけでは不正確だと考えられる場合には、薬剤や処置を組み合わせて妥当性を担保します。

このように「リアルワールドデータ」がどの程度「リアル」なのか、仮に歪んでいるとしたら結果への影響はどの程度なのかを検討・解釈するために、バリデーション研究が必要となります。

バリデーション研究の基礎知識

ゴールドスタンダード(gold standard)

日本薬剤疫学会のタスクフォースでは、「より真に近いと考えられる情報と比べて妥当性を確認すること」をバリデーション研究(validation study)と定義しています。1)
この「より真に近いと考えられる情報」のことを至適基準(ゴールドスタンダード)といいます。

例えば、保険データベースに記録された病名に対して、ゴールドスタンダードは「一定の基準に基づいて病院で診断された診断名」となります。未診断のごく早期のがんの存在のように、臨床上でも気づかれないようなものを基準にするのは非現実的です。

ゴールドスタンダードの設定はカルテレビューによるものが大半です。それ以外は疾患レジストリーや検査結果を用いることがありますが、比較的稀です。それぞれのゴールドスタンダード設定における注意点は以下の通りです。1)

カルテレビュー

  • 適切な診断基準に沿って判定が可能となるような調査票を設計する必要があります。もしも明確な診断基準がない場合には、その研究でどのような基準を用いたかを明示する必要があります。そして、可能な限り複数の評価者が独立に評価し、その一致度(カッパ係数)を報告することも求められています。

疾患レジストリー

  • 疾患レジストリーがそもそも高い妥当性を持ち合わせているかを確認しておく必要があります。まだ開設されたばかりで網羅的に症例が登録されていない、あるいは疾患の正確性が十分確認されていない症例が多く混ざっているような疾患レジストリーはゴールドスタンダードとして使うことはできません。

検査結果

  • 検体が正確に測定・標準化(例:尿蛋白の±、+、2+の分類)・記録されているか、また、病理診断や画像診断の場合は診断結果が標準化・電子化されているかを確認しておく必要があります。もしも標準化・電子化されていない場合は、標準化・電子化の作業を実施するか、実質的に医療機関に戻って行うカルテレビューと同じ方法でバリデーション研究を実施しなければなりません。

妥当性の指標

妥当性の指標として、主に用いられるのは感度(sensitivity)特異度(specificity)陽性的中率(positive predictive value: PPV)陰性的中率(negative  predictive value: PPV)です。

ゴールドスタンダードをカルテ記録とした場合のデータベースで考えると、これらの指標は以下のように算出されます。

  • 感度(sensitivity):カルテ上、ある疾患が記録されている人のうち、データベース上の病名でもその疾患の記録がある人の割合
  • 特異度(spesificity):カルテ上、ある疾患が記録されていない人のうち、データベース上の病名でもその疾患の記録がない人の割合
  • 陽性的中率(positive predictive value: PPV):データベース上、ある疾患の病名がある人のうち、カルテ上でもその疾患が記録されている人(実際に疾患がある人)
  • 陰性的中率(negative  predictive value: NPV):データベース上、ある疾患の病名がない人のうち、カルテ上でもその疾患が記録されていない人(実際に疾患がない人)

※ その他の指標として以下を使用することもあります。
陽性尤度比(positive likelihood ratio: PLR):感度/(1-特異度)
陰性尤度比(negative likelihood ratio: NLR):(1-感度)/特異度


    ゴールドスタンダードの定義を満たすか
(真のケースか否か)例:カルテ上の脳梗塞の記録
 
    あり なし  
アウトカムの定義を満たすか
(陽性のケースか否か)

例:データベース上の脳梗塞の記録
あり 真の陽性 a 偽陽性 b 陽性的中率 = a/(a+b)
なし 偽陰性 c 真の陰性 d 陰性的中率 = d/(c+d)
    感度 = a/(a+c) 特異度 = d/(b+d)  

これらの指標は以下のように解釈されます。

バリデーション研究における結果の解釈

  • 感度が高い病名が入力されていない → 実際に疾患はないだろう
  • 特異度が高い病名が入力されていない → 実際に疾患があるのだろう
  • データベースで抽出されてきた症例に本当に疾患があるかどうかは、病名の感度・特異度と有病率による

これらは臨床診断における解釈と同じといえます。

臨床診断における解釈

  • 感度が高い検査は陰性所見を持って除外診断に用いる
  • 特異度が高い検査は陽性所見を持って確定診断に用いる
  • 検査の感度、特異度は検査固有のものであるが、陽性的中率・陰性的中率は有病率による

日本におけるバリデーション研究一覧

日本におけるバリデーション研究の一覧を以下にまとめました(ダウンロードしてご覧ください)。

最後に

RWDはRCTにはない利点があります(以前の記事:リアルワールドデータでできること・できないことのまとめ
しかしながら、その利点を生かすにはRWDの妥当性担保が必要となります。

今回紹介したように、日本におけるバリデーション研究は多くありません。
バリデーション研究は地道な作業であり、手間がかかることも要因の一つだと思います。2)

  • 自施設の入力間違いを探すような作業をするので、気分はよくない(病院代表者への丁寧な説明が必要)。
  • 協力施設のカルテ閲覧権限、端末・会議室の確保依頼
  • 通常業務に支障がないようにしなければならないよう予定時間内に終わらなければならない
  • 「項目の取り忘れ」、「終わらなかった」などの理由で再訪問することは困難

など

バリデーション研究を行う環境が整い、研究がより盛んになることを期待しています。

参考

  • 「日本における傷病名を中心とするレセプト情報から得られる指標のバリデーションに関するタスクフォース」報告書, 日本薬剤疫学会
    https://www.jspe.jp/committee/pdf/validationtrr120180528.pdf
  • 超絶解説 医学論文の難解な統計手法が手に取るようにわかる本, 金原出版 ,著者:康永 秀生, 山名 隼人, 岩上 将夫

引用

  1. 「日本における傷病名を中心とするレセプト情報から得られる指標のバリデーションに関するタスクフォース」報告書, 日本薬剤疫学会
    https://www.jspe.jp/committee/pdf/validationtrr120180528.pdf
  2. 超絶解説 医学論文の難解な統計手法が手に取るようにわかる本, 金原出版 ,著者:康永 秀生, 山名 隼人, 岩上 将夫
タイトルとURLをコピーしました