「怠惰な」AI：ワシントン大学の研究者らは、技術が近道をすることでCOVID-19を誤診する可能性があることを発見した
ローレル・デッペン著
将来、医療現場での人工知能の利用は効率向上に役立つ可能性があるが、ワシントン大学がネイチャー・マシン・インテリジェンス誌に発表した新たな研究によると、AIはCOVID-19の診断において実際の医学的病理ではなく近道に頼っていることが判明した。
ワシントン大学ポール・G・アレン・コンピュータサイエンス＆エンジニアリング学部の研究者たちは、COVID-19の検出に使用される胸部X線写真を調査しました。その結果、AIは患者の感染の有無を予測する際に、重要な医学的要因よりも特定のデータセットに依存していることが分かりました。
しかし、アレン・スクールによる本研究の報告書によると、本研究の対象となった機器が医療現場で広く使用されていた可能性は低い。対象機種の一つであるCOVID-Netは複数の病院に配備されているが、本研究の筆頭著者の一人であるアレックス・デグレイブ氏は報告書の中で、これらの機器が医療目的で使用されたのか、研究目的で使用されたのかは不明であると述べた。
こうした近道は、研究者のデグレイブ氏、ジョセフ・ジャニゼク氏、スイン・リー氏が「AI の怠惰」と呼んだものです。
「AIは健康な患者とCOVID-19患者のX線写真の違いを探すように訓練されているため、近道を見つけることができる」と研究チームはGeekWireへのメールで述べた。「訓練プロセスでは、医師が使用するのと同じパターンを探す必要があるとはAIに教えていないため、AIはCOVID-19と健康な患者の判別精度を高めるために、あらゆるパターンを利用するのだ。」
医師が胸部X線写真を使用してCOVID-19の診断を下す場合、患者に関する曝露や病歴などの情報がすでにあるため、X線写真から新たな情報が得られることを期待します。
「医師がAIがレントゲン写真を読み取り、新たな情報を提供していると想定しているが、実際にはAIは医師が持っていたのと同じ情報に頼っているだけの場合、問題になる可能性がある」と研究チームは述べた。
AIが正しい理由に基づいて意思決定を行えると信頼できるようになれば、効率性と患者の転帰を改善し、医療界に利益をもたらす可能性があると研究チームは述べている。同様に、AIは医師の負担を軽減し、資源の乏しい地域での診断支援にも役立つ可能性がある。
「しかし、新しいAIデバイスはどれも、実際にメリットをもたらすかどうかを徹底的にテストする必要がある」と研究チームは述べている。「有用で有益なAIシステムを実現するために、研究者はAIをより厳密にテストし、テストに役立つ説明可能なAI技術を改良する必要がある。」
この研究では、AIが学習できる問題のあるパターンが少ない、つまり質の高いデータは、AIが多くの近道を使うことを防ぐことが分かりました。同様に、AIが近道を使うことに対してペナルティを課すことで、関連データに集中できるようにすることも可能です。
研究チームは、AIをこれまで見たことのない病院からの新しいデータでテストし、「説明可能なAI」分野の技術を使用してAIの決定に影響を与える要因を特定することを推奨した。
「医療従事者には、AIデバイスを完全に信頼する前に、そのデバイスに関する研究を再検討し、適切に設計された臨床試験で明確な医学的効果が示されるまでは、これらのデバイスに懐疑的であり続けることを推奨します」と研究チームは述べた。
