「世界をわかる部品」と「ことばを話す部品」を、わざと別々に作ってつないでみた研究。
巨大な LLM は、内部にすでに何らかの「世界モデル」を抱えているかもしれない。それでは結果が良くなっても、それが脳のおかげか口のおかげか区別できない。
つまり論文全体が「分離という原理そのもの」のアブレーションになっている。
小さな LLM に文字で情報を伝えようとすると、少なければ言い足りず、多ければ壊れる。ベクトルで渡せばこの板挟みから抜けられる。
I am happy with the quality… one minor complaint is the speaker is too loud and the screen is too small.
Product description:
You find a good product with excellent price.
Review:
Review:
The phone is gorgeous, the screen is amazing… no issues with battery life… if you're looking for a refurbished phone… Love the screen!
定量的にも、DBM を抜いて表データを直接 MLP に通した版や、GPT-2 を丸ごとファインチューニングした版より、正解レビューに近い文章になった。 （全体を学習すると過学習で崩れる。口は凍結したほうが良い）
DBM は各設定にエネルギーを割り当てる。低い谷ほど「よくある」、高い丘ほど「ありえない」。同じ 「中価格 → エントリー価格」への値下げ を、ブランドごとに試すと――
「安い＝おかしい」という単純な偏りではなく、 ブランドと価格の組み合わせとしての“らしさ” を覚えている。
プレミアム → エントリー はどのブランドでも急な上り坂。高級機は構造的に別物、という市場の常識も再現。
学習データでもテストデータでも同じ地形 。約3万パラメータの小さな脳が、丸暗記ではなく一般化できる構造を獲得している。
脳の中の変数を1つだけ書き換えて（クランプして）、口が話す内容の感情を測る。
安くなっても評価が下がるとは限らない（コスパが良ければむしろ上がる）し、Apple → Samsung でトーンは変わらない。 「Apple なら高評価」というブランド偏見が入っていない ことの裏付けにもなる。
人間の★1レビューは、素直にけなすものと、ポジティブな言葉を混ぜる（皮肉・「期待していたのに…」）ものの ふたこぶ 。★5を★1に介入した生成文も、同じふたこぶになった。
単に感情を「裏返す」だけでなく、 人間が書く酷評の複雑な感情構造 まで統計的に再現している。
エネルギーが「この設定はどれくらいもっともらしいか」を1つの数で示す。LLM 単体ではどれだけ大きくしても得られない検査可能性。
GPT-2 でも十分に話せた。構造のある領域では、ボトルネックは言語能力ではなく世界の理解にあるのかもしれない。
口を別の LLM に替えても、脳を替えても、再学習はアダプタだけ。同じ脳から画像や分類へ出力を広げることも原理的に可能。
流暢に
話す
ことと、世界を
わかる
ことは別の仕事。
別々に作れば、小さな口でも正しく、操作可能に話せる。