AIはがんに関する質問に正しく答えられるか？

チャットGPT、Copilot、BardなどのAIチャットの話題が盛んです。

例えば、次のような質問へのMicrosoft Copilotの回答です。

「科学的根拠」のないものが多く含まれていますが、銀座東京クリニックのサイトと福田一典氏の著作からの引用がメインのようです。（出典を明記してくれるだけでもマシかも）

ビタミンDやメラトニンは私も接種していますが、その意外は？？です。高濃度ビタミンC点滴など眉唾ものです。

まだAIには任せて信用するわけには行かないようです。

「がん医療情報リファレンス」に次のような記事が載っています。

がん治療・癌の最新情報 | リファレンス

AIチャットボットは、がんに関する質問に正確に答えられるか?

https://www.cancerit.jp/gann-kiji-itiran/gann/post-25813.html?utm_source=pocket_saves

AIチャットボットは、がんに関する質問に正確に答えられるか? : 海外のがん治療最新情報をお届けするサイトです。がん患者とご家族、医療者の方々に米国国立がん研究所(NCI)の治療法・検査技術研究・治験や米国食品医薬品局(FDA)抗癌剤新薬承認ニュース、他、信頼性の高い情報を翻訳、配信しています。

2つの新しい研究によると、「まだ提供できない」というのがその答えかもしれない。研究者らは、AIチャットボットは信頼できる情報源からがん情報を収集することが可能であるが、その回答には誤りや脱落、患者向けではなく医療専門家向けの文言が含まれる可能性があることがわかった。

「私たちはまだAI黎明期にあります。AIチャットボットは、医学情報を合成することはできますが、患者からの臨床的な質問に対して信頼できる回答を一貫して生成することは、まだできません」と話す。

ChatGPTの回答の正確性については腫瘍医の間で意見が分かれることが多かった。研究者らは、このような意見の相違はNCCNガイドラインが複雑であることや、ChatGPTの回答が不明瞭であったり、解釈が困難な場合があることによると考えている。

注目すべきは、回答の13％にどの推奨治療にも該当しない治療方針が含まれていたことである。これらの回答には、ガイドラインに全く記載のない治療方針や、AI研究者らが「幻覚」と呼ぶ意味不明な治療方針が含まれていた。

「がん医療情報リファレンス」

AI（人工知能）は要するに数学的処理ができるだけです。そして数学は、論理と確率と統計で構成されています。

この言葉の次には、この単語が来る確率が高いというわけで、言葉を繋いでいるに過ぎません。

論理と確率と統計では文章の意味も理解できないのです。

また、平気でもっともらしい嘘をつくこともしばしばです。

私もPython上でLightGBMを使って推論をさせていますが、良くて80％ですね。２割は外れるという結果です。

チャットAIも参考程度にしておいたほうが無難でしょう。