The Mouth is Not the Brain

行動データのための世界モデル

The mouth speaks fluently; whether the brain comprehends is another matter.
— Niimi (2026), ICLR 2026 Workshop on World Models

World Models for Behavioral Data

大規模言語モデルの言語能力の高さと、この世界の構造を理解しているかどうかは別問題です。
このプロジェクトでは、市場構造を学習する世界モデル(脳)と、その内容を文章や予測として出力するモジュール(口)をアーキテクチャの上で分離します。World Models (Ha & Schmidhuber, 2018)におけるV–M–C architectureを土台に、消費者の行動履歴を対象として、各モジュールを一つずつ実装し検証してきました。

Large language models speak fluently, but whether they understand the world is a separate question. This project architecturally separates the world model that learns the structure of a domain (the brain) from the modules that turn it into text or predictions (the mouth). Building on the V–M–C architecture of Ha & Schmidhuber (2018), it implements and tests these components one at a time on consumer and household behavioral data.

architecture

V–M–C構造との対応

Mapping onto V–M–C

Ha & Schmidhuber (2018) の World Models は、観測を潜在表現に圧縮する Vision (V)、潜在状態の時間変化を予測する Memory (M)、行動を選ぶ Controller (C)で構成される。

The World Models of Ha & Schmidhuber (2018) consist of V (vision), which compresses observations into a latent representation; M (memory), which predicts how the latent state evolves over time; and C (controller), which selects actions. The table shows which modules each paper implements. The “readout” column lists the module that turns the world model's content into output: the “mouth” in this project's terms.

#	Paper	Vision	Memory	Controller	Readout
01	the Mouth is Not the BrainICLR 2026 WS	DBM(属性の静的な共起構造)DBM (static co-occurrence of attributes)EBM	—	—	凍結した GPT-2(ソフトプロンプト)Frozen GPT-2 (soft prompts)
02	Energy-Based Attribute ModelsTMLR 2026	DBM(2つの商品ドメイン)DBM (two product domains)EBM	—	—	凍結した Qwen2.5-0.5B ほかFrozen Qwen2.5-0.5B and others
03	Three-in-One World ModelICONIP 2026	DBM + ラグ特徴DBM with lagged featuresEBM	ラグ窓による部分的な実装(再帰なし)Partial: lag window, no recurrence	将来課題Future work	タスク別アダプタ(予測・反実仮想)Task adapters (prediction, counterfactuals)
04	When to Trust Your Rollouts?NeurIPS 2026 WS	GRU エンコーダGRU encoder	closed-loop rolloutClosed-loop rollout	—(施策系列は外から与える)— (action sequences are given)	—
05	Post-hoc Temperature-based SegmentationUnder review	凍結した予測器 + 潜在空間 EBMFrozen forecaster + latent-space EBMEBM	MDN-RNNMDN-RNN	—(action-free のため除外)— (omitted: action-free data)	解釈層(世帯ごとの温度)Interpretive layer (per-household temperatures)

implemented partial future work EBMenergy-based model

Temperature 論文の V と M は、論文自身が用いている呼び方です。それ以外は、各論文の構成を V–M–C に当てはめて整理したものです。

For the temperature paper, V and M follow the paper's own terminology; the other assignments map each paper's components onto V–M–C.

research arc

From V to M, and Next C

phase 01

脳と口を分けるSeparating the brain from the mouth

深層ボルツマンマシン (Deep Boltzmann Machine, DBM)で、ブランド・価格帯・評価などの属性がどのように共起するかを学習し、その信念表現を小さなアダプタ経由のソフトプロンプトとして凍結した言語モデルに渡します。言語モデルは文章の流暢さだけを担い、何を書くかは世界モデルが決めます。DBM のエネルギーで属性の組み合わせのもっともらしさを評価でき、入力の属性を固定(クランプ)すると、生成されるレビューを属性単位で制御できます。TMLR 版では2つの商品ドメインと複数の言語モデルに拡張し、DBM を energy-based attribute model として位置づけ直しました。

A Deep Boltzmann Machine (DBM) learns how attributes such as brand, price tier, and rating co-occur, and its belief representation is passed to a frozen language model as soft prompts through a small adapter. The language model contributes only fluency; the world model decides what to say. The DBM's energy scores how plausible an attribute configuration is, and clamping input attributes controls the generated review attribute by attribute. The TMLR version extends this to two product domains and several language models, and recasts the DBM as an energy-based attribute model.

ICLR WS 世界モデル(DBM)と凍結した GPT-2 を分離し、ソフトプロンプトで接続したレビュー生成。属性のクランプで生成を制御できる。

ICLR WS Separates a DBM world model from a frozen GPT-2 and connects them through soft prompts; clamping attributes controls the generated reviews.

J. Niimi (2026). the Mouth is Not the Brain: Bridging Energy-Based World Models and Language Generation. International Conference on Learning Representations; The 2nd Workshop on World Models: Understanding, Modelling, and Scaling.

DOI: 10.48550/arXiv.2601.17094

論文解説 arXiv OpenReview GitHub BibTeX
TMLR ICLR WS 論文のフルペーパー版。2つの商品ドメインと複数の言語モデルに拡張し、感情と内容を独立に制御できることを示した。

TMLR Full-paper extension of the workshop paper to two product domains and several language models, showing independent control of sentiment and content.

J. Niimi (2026) Energy-Based Attribute Models for Controllable Review Generation with Frozen LLMs. Transactions on Machine Learning Research.

論文解説 OpenReview

phase 02

一つの脳から複数の出力へOne brain, many readouts

ICLR WS 論文は考察で、アダプタを替えれば一つの世界モデルを別の出力につなげられると述べていました。ICONIP 論文はこれを実装し、言語モデルの代わりに来店・購買を予測するアダプタを接続しています。過去の行動と施策をラグ特徴として入力することで時間方向を部分的に取り入れ、現在の施策は DBM には入れずアダプタにだけ入力します。これにより、DBM の信念を固定したまま施策の入力だけを切り替えて反実仮想を計算できます。一つの凍結した DBM で、自由エネルギーによる行動軌跡の整合性評価、行動予測、施策効果の推定を行います。

The workshop paper noted that a single world model could connect to other outputs simply by swapping the adapter. The ICONIP paper implements this, replacing the language model with adapters that predict store visits and purchases. Past behavior and marketing actions enter as lagged features, bringing in time partially, and the current action is fed only to the adapter, not to the DBM. Holding the DBM's belief fixed and switching only the action input then yields counterfactual predictions. One frozen DBM supports three tasks: trajectory consistency via free energy, behavioral prediction, and estimation of intervention effects.

ICONIP 一つの凍結した DBM とタスク別アダプタで、行動軌跡の整合性評価、来店・購買の予測、施策効果の反実仮想推論を行う。

ICONIP One frozen DBM with task-specific adapters handles trajectory consistency, visit and purchase prediction, and counterfactual estimation of intervention effects.

J. Niimi (2026) Three-in-One World Model: Energy-Based Consistency, Prediction, and Counterfactual Inference for Marketing Intervention. Proceedings of the 33rd International Conference on Neural Information Processing (ICONIP 2026).

DOI: 10.48550/arXiv.2605.07199

論文解説 arXiv BibTeX

phase 03

時間方向と、その信頼性Time, and when to trust it

M を明示的に扱う段階です。Rollouts 論文は、行動条件付きの系列モデルを closed-loop で回したときに、長期的な施策効果の順位を正しく再現できる条件を調べました。信頼できるかどうかはモデルではなく環境で決まり、事前に測定できる2つの指標(ターゲティングの強さと、効果が状態を通じて累積する度合い)の上の境界マップとして描けることを示しています。Temperature 論文は、家庭のエネルギー需要を予測する学習済みモデルを action-free な世界モデルの V とみなし、潜在空間 EBM と MDN-RNN を事後的に接続して、世帯ごとの2つの「温度」を行動の規則性の指標として読み出します。

This phase makes M explicit. The rollouts paper asks when closed-loop rollouts of an action-conditional sequence model can be trusted to rank long-horizon intervention effects. It finds that trustworthiness depends on the environment rather than the model, and charts it as a boundary map over two coordinates measurable in advance: targeting strength and how strongly effects compound through the state. The temperature paper treats a trained forecaster of household energy loads as the V of an action-free world model, attaches a latent-space EBM and an MDN-RNN post hoc, and reads out two per-household temperatures as indices of behavioral regularity.

NeurIPS WS 世界モデルの closed-loop rollout が長期的な施策効果の順位を再現できる条件を、ターゲティングの強さと経路依存性の2軸の境界マップとして示す。

NeurIPS WS A boundary map, over targeting strength and path dependence, of when closed-loop rollouts of a world model still rank long-horizon intervention effects correctly.

J. Niimi (2026) When to Trust Your Rollouts? A Boundary Map for Long-Horizon Action-Conditional World Models. The Fortieth Annual Conference on Neural Information Processing Systems (NeurIPS 2026) Workshop: Foundation Models for Temporal Systems From Forecasting to World Modeling.
Under Review 学習済みの予測器を action-free な世界モデルの V とみなし、潜在空間 EBM と MDN-RNN から世帯ごとの2つの温度を推定して、予測リスクの順に並ぶセグメントを得る。

Under Review Reads a trained forecaster as the V of an action-free world model and estimates two per-household temperatures from a latent-space EBM and an MDN-RNN, yielding segments ordered by forecast risk.

J. Niimi et al. (under review) Post-hoc Temperature-based Segmentation: Behavioral Interpretation using Action-Free World Models.

phase 04

次の段階:CNext: C

まだ実装していないのは、世界モデルの上で施策の方針を学習する C です。ICONIP 論文はこれを将来課題として挙げています。Rollouts 論文の境界マップは、世界モデルのロールアウトを方針の学習に使ってよいかを事前に判断するための確認手段になります。

What remains is C: learning an intervention policy on top of the world model. The ICONIP paper names this as future work, and the boundary map from the rollouts paper serves as a pre-flight check on whether a world model's rollouts can be used to learn such a policy.