全国の自治体や企業で業務効率化のための「ChatGPT」導入が進められているが、香川県三豊市はゴミ出し案内でのChatGPT導入を断念したと発表した。ネット上などの膨大なデータを学習し、適切な答えを出してくれるはずのChatGPTがなぜゴミ出し案内に使えないのか、AIのプロフェッショナルに見解を聴いた。
三豊市は6月より、AI研究の権威である東京大学大学院の松尾豊教授の研究室と共同で、ChatGPTを使ったゴミ出し案内の実証実験を開始。サービス内容は、市のホームぺージ専用画面でゴミに関する質問などを入力すると、AIが分別方法や収集日などを24時間自動応答するというもの。約50の外国語にも対応し、職員の負担軽減と市民サービスの向上が期待された。
6月、7月に行った実験では、正答率が62.5%と低かったことから松尾研究室が「大規模言語モデルをGPT-3.5からGPT-4に変更」「1問1答形式から対話形式に変更」などといった改良を施し、10月、11月の2度目の実験では正答率が94.1％に大きく向上した。
しかし、市が本格導入の条件として設定していた「正答率99％」には届かず、市は導入を断念すると発表した。同市は今後、実証実験のデータを生かして別業務にChatGPTが活用できないか検討するとしている。
これに対して、ネット上では「ChatGPTがゴミ出し案内に使えなかった」ということに驚きの声が上がり、以下のようなコメントが飛び交った。
「ゴミ出し案内にすら使えないとなると、ChatGPTは実業務に使えないのでは」
「94％の正答率はかなり高いと思う。あまり設定を高くしすぎると、永久に業務効率化なんて達成できなさそう」
「ゴミ出し案内くらいなら、ChatGPTより、教えたことだけ答えるタイプのボットのほうがいいのでは」
技術導入の一般的な心理問題
94.1％の正答率であれば、実用に足るのではという意見もあるが、なぜChatGPTは「ゴミ出し案内に使えない」と判断されたのか。ゲームAI開発の第一人者である三宅陽一郎氏（立教大学特任教授）はこう解説する。
「適用する事例にもよりますが、94.1％というと高い正答率に見えます。事例によっては、この正答率で十分な場合も多いかと思います。しかし、例え20回に1回であっても間違った情報が混じってしまうと、それによる実害の大きさによっては断念という判断になることもあります。ゴミ出しのルールを守らないと罰金が発生したり、ゴミの放置によって不慮の事故が起きたりすることがありますが、GPTの案内通りにゴミを出したのにトラブルになったら『誰が責任を取るのか』という問題が起きてしまう。これは純粋な技術的問題というよりも、社会における技術導入の一般的な心理問題でもあります。
登山中にどの道を行けばいいかをAIに聞いて、正答率が99％で100回に1回しか間違えないとしても、もし誤った回答が出てしまったら取り返しのつかないことになります。これは99.9%でも、99.99%でも同じ議論となります。一方で『このお酒にはどんな料理が合うのか』といった程度の質問への案内なら94.1％でも実用化できるでしょう。なぜなら、残りの5.9%で間違えても、そこそこおいしい料理ができるかもしれないからです。92%でも、90%でも、大丈夫かもしれません。ですので、どの技術がどこで実用できるかは、技術の信頼度と適用する事例における影響力の大きさの比較によって、導入できるかどうかの判断が変わってきます。
実際、実業務へのAI導入においては『AIが間違ったらどうするのか』という議論が起きることがむしろ普通です。今回も例外ではないでしょう。間違った場合の影響力をどう捉えるかで、導入の可否が決まります。間違った場合の影響力が大きいと判断される場合は結果として導入断念となるケースが多いのが実情です。この議論は果てがなく、99.999%だったら問題ないのか、といえば、それでも十万分の一のケースについて反対が出ることも、いろいろな課題をかかえる世の中ではまったくめずらしくありません。それは人間の心理として仕方のないことでもあります」（三宅氏）
