チャットAIに参考文献を聞くと、ありもしない論文を答えることがあります。その「覚えている部分」と「作り話の部分」の境目を調べました。
J. Niimi (2026) Hierarchical Memorization in Large Language Models: Evidence from Citation Generation
GPT-4.1 に、20の研究テーマについて5本ずつ論文をすすめてもらい、1本ずつ手で確かめました。完全に正しかったのは 100本中15本 だけ。いちばん多かったのは、 本物の論文なのに著者や雑誌名がまちがっている ものでした。
ほかの論文に引用された回数が多いほど、AIは正確に答えました。たくさん引用される論文は、ネットのあちこちに何度も書かれているので、AIが学ぶときに何度も目にするからです。
境目は2つ。 約90回 を超えると覚え始め、 約1,200回 を超えると、12人もいる著者名まで 一字一句そのまま 出てきます。
イメージ図です。バーの長さは覚えやすさの順番を表していて、測った値そのものではありません。
1本の論文の情報は、まとめて覚えられているわけではありませんでした。ネットで よく書かれる部分から順に 覚えていきます。タイトルや第一著者はよく書かれますが、巻やページは参考文献リストの中くらいにしか出てきません。
出版年は、有名な論文でもほとんど当たりません。AIは年を覚えているのではなく、「この分野ならこのくらいの年だろう」と 推測して書いている ようです。
とても有名な論文でもまちがえることがあります。同じ著者の、よく似たタイトルの論文が2本あると、AIは2つを 混ぜて、存在しない1本 を作ってしまいました。
論文ではこれを、似た記憶どうしがくっついて偽の記憶ができる現象(ホップフィールド・ネットワークの「偽のアトラクター」)にたとえて説明しています。
AIの記憶は「覚えている/覚えていない」の2択ではありません。 何度も見た情報ほど、細かいところまで、段階的に 覚えています。
AIがすすめる参考文献を使うときは、とくに 出版年・巻・ページ 、そしてあまり有名でない論文を、自分の目で確かめましょう。