ここまで、AI(人工知能)を使って疑わしい学術雑誌を見つけ出す研究について説明してきましたが、「AIの判定は本当に信頼できるの?」という疑問が湧いてくるかもしれません。
実際にAIが「あやしい」と判定した雑誌を詳しく調べると、必ずしも悪意があるとは言えない雑誌も含まれていました。
例えば、ウェブサイトが一時的に停止したり、雑誌の発行が休止しているなど、単に運営上の問題で「あやしい」と判断されてしまった雑誌もあります。
また、本来は雑誌ではない書籍のシリーズや、学術会議の発表資料(会議録)などが誤って雑誌として扱われ、「怪しい雑誌」として判定されるケースもありました。
さらに、小さな学会が真面目に運営している雑誌でも、ウェブサイトが簡素だったり、あまり目立たないだけで、誤って疑われてしまった例もありました。
こうした状況を見ると、AIの判定結果をそのまま完全に信じることには問題があると言えます。
一方で、AIは「実際にあやしい雑誌」を見逃してしまうこともあります。
AIが正しく見抜ける割合は完全ではなく、実際に存在する怪しい雑誌のうち、6割近くを見逃していることが分かりました。
つまり、このAIは万能の道具ではなく、雑誌のチェックを始めるための最初の段階(一次ふるい)として考えるべきです。
研究チーム自身も、最終的に雑誌が本当に問題かどうかを判断するのは、人間の専門家(例えば雑誌の編集者や、研究費を出す機関など)の仕事だと強調しています。
実際に、このAIが「あやしい」と判断した雑誌を人間の専門家がランダムに取り出して確認してみたところ、AIが指摘した雑誌のうち約4分の1は問題がないと判明しました。
しかし、それ以外の約4分の3はやはり「あやしい雑誌」であることが分かり、AIの判定と人間の専門家の意見がほぼ一致したのです。
この結果は、AIが一定の精度で「あやしい雑誌」を見つける能力を持っていることを示していますが、同時に、AIの判定だけに頼るのではなく、専門家が必ず確認を行う必要があることも明らかにしています。