LLM は一枚岩なので「ブランドだけ変えて、ほかは全部そのまま」ができない。外付けのエネルギーモデルに属性の結びつきを持たせ、そこでつまみ(クランプ)を回す。
一番の比較相手は、DBM を抜いて表データを直接 MLP に通す版(直結 MLP)。文章の上手さでは勝てないはずで、構造を操る力では勝つはず。この 両側の予言 が、両方ともその通りになった。
予言 直結 MLP は LLM の損失を入力まで直接逆伝播できるので、表面の指標では同等か、わずかに上回るはず。
予言 もっともらしさのスコア、分布まで自然なクランプ、独立した 2 本のつまみは、エネルギーモデルがないと出せないはず。
言いたいのは「上手さ」と「操作性」は 別の設計軸 だということ。LoRA が表面指標の天井に近づいた今、そこでの小差はもはやアーキテクチャを見分けない。
属性どうしの結びつきを実データで測ると、スマホは 寡占型 (ブランドと価格が強く結びつく)、ビューティーは 専門特化型 (ブランドと話題が結びつく)。そして「評価 × サービスの話題」だけは両方に共通していた。
DBM のエネルギーはこの地図をなぞる 21 組すべての属性ペアで、エネルギーの反応の大きさが実データの結びつきの強さと強く連動した。
正直なただし書き 結びつきを 見つける だけなら相関表で足りる。エネルギーモデルが加えるのは、任意の組み合わせの「ありえなさ」スコアと、クランプして推論し直す仕組み。
地図から 2 種類のつまみが取り出せる。両市場に共通の結びつき(評価 × サービス)は 感情 を動かし、市場固有の結びつき(ブランド × 話題)は 内容 を動かす。理想は、片方を回してももう片方が動かないこと。
…For a refurbished phone, it's not a bad phone… I recommend buying from this brand.
I had a phone factory refurbished and it worked great for 2 months. Then it stopped working… I was very upset.
This is a great product. I love it… My kids love it… I love this product.
Great product with an attached scent … a gift for a friend that loves all the smells in this scent … I love it.
最有力の競合は、LLM 内部の活性に「★1方向のベクトル」を足す手法(CAA)。 CAA に有利になるよう 層と強さを調整しても、違いは程度ではなく種類の違いだった。
生成器の中の活性に、差分ベクトルを足す
外の同時分布で属性を固定し、推論し直す
「評価=★1」だけでなく、 それと結びつく「サービスの話題」も一緒に固定 すると、分布が本物の★1にさらに近づく。結びつきの地図を知っているから、組み合わせ方がわかる。
DBM を丸ごと抜いた版(直結 MLP)と、深さだけを抜いた版(隠れ層 1 層の RBM)を比べると、能力が階段状に並んだ。
1 層だとブランド・話題・評価が同じ表現に押し込まれ、内容をいじると感情まで引きずられる。
同じ DBM のまま、生成器を開発元もトークナイザも異なる LLM に替え、アダプタだけ再学習した。3 系統とも、そのまま動いた。
表面指標が天井に近い今、アーキテクチャを見分けるのは「もっともらしさを採点できるか」「予測的に妥当なクランプができるか」。
一枚岩のモデルを後から調べるのではなく、解釈可能性と操作性を最初から部品として組み込む。この構成はその一つの実現例。
口
は話す。
何を話すかは、
脳
が別の場所で、検査できる形で決める。