AIの「もしも」は、
いつ信じていい?

AIは「もしも」を想像する

「このお客さんにクーポンを配ったら、1か月後どうなる?」AIは、自分の予想の上にさらに予想を重ねて、先の未来を想像します。この仕組みを 世界モデル といいます。

困るのは、この想像が いつ当たっていて、いつ外れているのか 、事前にわからないことでした。

答えは、AIではなく「世界」のほうにあった

信じていいかどうかは、AIの賢さでは決まりません。AIが学んだ 世界の性質 で決まります。その性質は、2つのものさしで測れます。

えこひいきの強さ

クーポンが もともとよく買う人 にばかり配られていると、AIは「クーポンのおかげで買った」のか「もとからよく買う人だった」のか区別できなくなります。

効果の積み重なり方

効果が雪だるま式にふくらむ世界ほど、AIの想像は まちがいに強く なります。

できあがった地図

2つのものさしを少しずつ変えた世界をたくさん作り、AIの想像がどれだけ当たるかを調べました。 緑 は信じてよい場所、 赤 は 順位が逆さま になる場所です。

数字は「本当に効く順」と「AIが想像した順」の一致度。+1 でぴったり、0 ででたらめ、マイナスは逆さま。左の「○倍」は、足し算の世界とくらべて効果が何倍にふくらむか。

• えこひいきが強いと、逆さまになる。 少し外れるのではなく、効く人と効かない人を取りちがえます。
• 雪だるまは盾になる。 ただし少しずつ。完全に守られるには、およそ8倍が必要でした。
• えこひいきが弱すぎてもダメ。 ちょうど中くらいのときに、いちばんよく当たります。

別の世界でも、同じ地図が使えた

この地図は、買い物の世界で作りました。そこで、 ほかの研究グループが作った医療(がん治療)のシミュレーター でも試しました。

結果は、地図の山の 左側の上り坂 にぴったり。えこひいきが強まるにつれて、当たり具合が +0.115 から +0.525 へと登っていきました。

上の絵はイメージ図です。

でも、地図にのっていない落とし穴もあった

本物のスーパーの購買記録で試すと、地図は「大丈夫」と言いました。ところが、 時期をでたらめにずらしたニセのキャンペーン でも、本物とほぼ同じ「効果」が出てしまいました。

原因は「よく買う家庭ほど、キャンペーンによく当たる」という 家庭どうしの差 。地図が測っているのは一人ひとりの時間の流れの中のえこひいきで、これは別の種類のものでした。

これは地図がまちがいという意味ではなく、地図の端がどこにあるかを示す結果として報告しています。

つまり

飛行機は、飛ぶ前に点検をします。AIの想像も同じです。

想像を信じる前に、まず世界を2つのものさしで測る。 地図のどこにいるかがわかれば、その想像を使っていいかどうかを、前もって判断できます。