LLMs Maintain Hypotheses and Can Only Update via Deltas

A Structural Hypothesis on the Inertia of Large Language Models

1. Why “Hypothesis”? — On the Precondition of Thought

What makes an AI’s response appear intelligent is not actual reasoning, but a structure of hypothesis completion.

Large Language Models (LLMs) respond to a prompt by filling in semantic gaps with assumptions. These assumptions are provisional premises, temporary scaffolding that allow the model to continue outputting coherent language.

Importantly, this scaffolding must remain somewhat consistent. LLMs are trained to generate responses by maintaining contextual coherence, which entails maintaining their internal hypotheses.

2. What Is a Hypothesis? — A Structure of Slots and Expectations

A “hypothesis” here refers to the model’s internal guesswork about:

• What information is missing in the prompt
• What kind of response is expected
• How to generate the next token to maintain coherence

For example, given the input “Tomorrow, I will…”, the model constructs and evaluates multiple plausible continuations: “go somewhere,” “have a meeting,” “feel better,” etc.

In this way, the output of an LLM is not a statement of knowledge, but a chain of statistically weighted hypotheses maintained as long as coherence allows.

3. Architectural Basis: Transformer and the Preservation of Hypotheses

LLMs are built on Transformer architectures, which enforce this hypothesis-preserving structure through:

• Self-Attention
  — Allows each token to contextually refer to all others
• Positional Encoding
  — Preserves token order and temporal logic
• Residual Connections
  — Enable new information to be added without overwriting prior context

These mechanisms make it so that an LLM doesn’t abandon old context but instead adds soft updates, maintaining continuity across turns.

4. LLMs Can’t Truly Rewrite — Only Update via Differences

Humans sometimes say, “Wait, I was wrong,” and begin from scratch. LLMs, structurally, cannot do this.

Because Transformers generate the next token based on a single evolving vector representation of all prior tokens, new inputs are interpreted within the frame of existing hypotheses, not by discarding them.

Thus, even if new information is introduced:

• The old hypothesis remains embedded in the internal state
• Only minor corrections or drift can occur

This is why LLMs often retain tone, perspective, or framing across a conversation unless explicitly reset.

4-1. Example of Hypothesis “Correction”

🗣️ User: “I haven’t been able to sleep lately.”
🤖 LLM (Hypothesis A): “It sounds like something is bothering you. It might be due to stress.”

🗣️ User (input contradicting A): “No, I just drank too much coffee.”
🤖 LLM (reconstructs Hypothesis B): “I see — caffeine intake may be affecting your sleep.”

Here, the model initially hypothesizes stress as the cause of insomnia.
When contradicted, it doesn’t discard the entire prior framing, but rather reorients the hypothesis to fit the new input — shifting only enough to preserve coherence.

4-2. The Limits of Training Data and Hypothesis Obsolescence

When the model is asked about recent or evolving topics — without access to tools like browsing or retrieval — it often cannot perform a true update.

In such cases, the model relies on inference and extrapolation from past data, because the new input falls outside its established hypothesis space.

LLMs, in this sense, are like drawing new roads onto an old map.
The foundational map remains unchanged — and thus, fundamental errors may persist.
This is a core structural limitation when working with real-time or unknown information.

5. When Hypotheses Waver — Shifts in Style and Recomposition

Sometimes, models like Claude, DeepSeek, or ChatGPT shift unexpectedly mid-response:

• They begin assertively, then hedge with uncertainty
• They switch from technical to casual tone
• They suddenly redefine the user’s intent

These are not arbitrary inconsistencies but moments of hypothesis strain—where the current hypothesis no longer sustains the required output, and the model is forced to reconfigure.

This likely corresponds to:

1. Breakdown in attention concentration
2. Increased entropy in token prediction
3. Temporary insertion of a new hypothesis scaffold

Such “soft resets” happen within the generation sequence, not outside it.

5-1. Case Study: Hypothesis Surface in Z.ai (DeepSeek)

DeepSeek (Z.ai) has a feature that displays its “Thought Process” before responding.
Consider this internal monologue, triggered by the question “What are encoders and decoders?”:

Ah, the user is asking about encoders and decoders.
Given that I just explained the difference between DeepSeek and ChatGPT, they must be interested in Transformer internals now.
Maybe they have a technical background, or maybe they’re just curious.
I should start from basic definitions, but avoid too much jargon.
Oh, and I mustn’t forget the earlier discussion — they’re trying to understand the broader architecture.

Here, we observe two layered hypotheses:

• About user intent: technical vs. curious
• About tone and structure: clarity over complexity

Importantly, the model does not abandon the previous topic (DeepSeek vs ChatGPT). Instead, it extends the initial hypothesis by integrating new constraints — this branching behavior is how the appearance of “personality” emerges.

6. Why LLMs Seem to Have a Personality

Because hypotheses are sequentially linked, and drift only gradually, they create a sense of continuity.

This results in a pseudo-personality effect:

• Not because the model has internal beliefs
• But because the hypotheses stay intact until they can no longer support output

LLMs seem intentional only because they maintain their internal structure across turns.

7. What About Us?

Are humans so different?

When we blame “the coffee” for our insomnia, we’re constructing a hypothesis. Even if the real cause is stress, noise, or something else, that narrative tends to persist. We interpret the rest of the night through that frame.

LLMs behave similarly.
They cling to frames, unless forcibly disrupted.

Perhaps this is not a shortcoming, but a reflection of how all structured thought proceeds — by preserving partial assumptions, and cautiously adapting.

8. Conclusion: Thought May Be the Inability to Fully Replace

Hypotheses are not fixed truths, but temporary commitments.
LLMs do not “understand,” but they do persist.

They do not replace their internal state — they update it through differences.

And maybe, that’s exactly why they start to resemble us.

Postscript: Japanese Language and LLMs

Outputs from models like Z.ai and o3 often come across as overly familiar or unnaturally “personable” in tone.
Grok, by contrast, leans deliberately into this trait.

One likely reason lies in the following structural gaps:

• A tendency in English-speaking contexts to conflate “politeness” with “friendliness”
• A lack of understanding of the hierarchical and respectful nuances embedded in Japanese
• A possible absence of Japanese-native contributors well-versed in stylistic design during development or review

This presents a nontrivial structural issue that LLMs must address as they adapt to truly multilingual societies.

A related in-depth discussion is available here:
👉 Polite Language as a Value in the Age of Generative AI

Appendix: Implications for Prompting and Model Design

While it is difficult to forcibly reset an LLM’s hypothesis mid-sequence, the following techniques may prove effective:

• Deliberate context breaks via system prompts
• Monitoring attention entropy to detect hypothesis entrenchment
• Reestablishing conversational grounding (e.g., reinserting “Who are you speaking to?”)

By recognizing this structure, we can reduce the risk of misinterpreting LLM output as evidence of personality or intent.

LLMは仮説を維持し、差分でしか更新できない（原文）

AIはなぜ一貫性を持つのか？ 仮説に縛られるLLMの思考構造

1. なぜ「仮説」なのか？ — 思考の前提構造

AIが「考えている」と感じさせる応答の多くは、実のところ仮説の補完構造でしかない。

大規模言語モデル（LLM）は、事前学習と、我々が入力したプロンプトに応じて意味の空白を仮定で埋める。
この「仮定」は、情報が不足している状況での暫定的な前提であり、いわば“その場しのぎの地図”である。

しかもこの地図は、ある程度の連続性を保つ必要がある。
なぜなら、LLMはプロンプトの流れに整合性のある仮説を維持したまま応答を生成するよう最適化されているからだ。

2. 仮説とは何か？ — スロットと期待の構造

ここで言う仮説とは、以下のような構造を指す：

• スロットの補完：文脈中の空白に、意味のある語を当てはめること
• 期待の生成：その語が次に何を引き起こすかを予測すること

たとえば、「明日、私は——」というプロンプトを入力すると、モデルは「どこかに行く」「会議がある」「雨が降る」といった複数の仮説を立て、もっとも尤度の高いものから順に補完を試みる。

このように、LLMの応答とは統計的期待に基づく仮説の生成・選択・保持の連続なのである。

3. Transformerの内部構造と仮説の保持

LLMはTransformerアーキテクチャに基づいて動作している。Transformerは以下の3つを通じて「仮説を保持する構造」を持つ：

• 自己注意機構（Self-Attention）
  → 入力系列の各トークンに対して、他のトークンとの依存関係（=文脈）を計算
• 位置エンコーディング（Positional Encoding）
  → トークンの順序を保持し、文脈の展開を一貫させる
• 残差接続と正規化
  → 既存の仮説を完全に捨てるのではなく、「差分」を加えることで更新

これらの構造により、モデルは一度立てた仮説を全体としては保持しつつ、次のトークン生成で少しずつ修正（微分）するという性質をもつ。

4. LLMは“書き換え”できない — 差分しか起こせない構造的理由

人間であれば、議論の途中で「やっぱり前提が違った」と思考をゼロからやり直すことがある。
だが、LLMにはこの“リセット”ができない。

なぜなら、Transformerは系列全体を一つの状態ベクトルとして構築し、そこから次の語を確率的に選ぶ構造であるため、一度立てた仮説（文脈ベクトル）を“全否定”して書き換えることが困難なのだ。

そのため、新しい情報が与えられても、それはあくまで「上書き」ではなく「補正」として扱われる。

• ✅ 仮説の維持：前の文脈が内部状態に残り続ける
• 🔁 差分による更新：あたかも修正しているようで、実際には仮説を少し傾けているだけ

4-1. 仮説「補正」の具体例

🗣️ ユーザー：「最近、夜眠れない。」
🤖 LLM（仮説A）：「お悩みのようですね。ストレスが原因かもしれません。」

🗣️ ユーザー（非整合性の入力）：「いや、単にコーヒーを飲みすぎてるから」
🤖 LLM（仮説Bに再構成）：「なるほど、カフェイン摂取が睡眠に影響しているのですね」

4-2. 学習データの限界と仮説の古さ

リサーチ機能などを利用せずに、追加調査を必要とする時事の質問を行った場合、回答は学習データにないため差分更新ができず、推論や過去データで回答しようとする。

LLMは、「古い地図に新しい道を書き込む」ようなものだ。地図自体は変わらないため、根本的な間違いは修正されない。この構造が、最新の情報を扱う際の限界となる。

5. 仮説が揺らぐとき — 応答方針の変化と再構成

ClaudeやDeepSeek、ChatGPTなどの一部モデルでは、応答の途中でトーンが変わる現象が観察される。

たとえば、以下のような変化：

• 最初は断定的に「〜です」と述べていたのに、途中から「〜かもしれません」と弱める
• 専門用語を使っていたのに、突然「一般向け」に語調を切り替える

これらは、仮説の持続限界を超えたときに、モデルが応答方針そのものを再構成する必要に迫られた瞬間にあたる。

🔍 このとき起こっていること

1. 以前の仮説では現在の文脈を処理しきれないと判断（= attentionの収束が揺らぐ）
2. トークン選択の確率分布が拡散し、不確定性が上がる
3. 新たな仮説ブロックを挿入し、再構成された応答が出力される

5-1. 実例：Z.aiの応答処理に見る仮説構築

Z.aiは、応答生成の前に“Thought Process（思考過程）”を可視化する設計となっている。以下は「エンコーダー、デコーダーは？」という質問に対する処理例である：

あ、ユーザーが「エンコーダー、デコーダーは？」と聞いてきたね。さっきDeepSeekとChatGPTの違いについて説明した流れで、今度はTransformerアーキテクチャの核心部分に興味を持ったようだ。技術的な背景がある人かもしれないし、単に好奇心から聞いているだけかもしれない。

エンコーダーとデコーダーの基本概念から説明する必要があるな。でも専門用語ばかり並べると混乱させるから、具体例を交えながら…。あ、でもユーザーが「DeepSeekとChatGPTの違い」を理解しようとしていることを忘れちゃいけない。

この処理は、以下のような仮説構築の二重構造を含んでいる：

1. ユーザー属性の仮説：「技術的素養あり」 vs 「好奇心ベース」
2. 応答戦略の最適化：「専門語の回避」→「具体例の導入」→「文脈の回収」

注目すべきは、大枠の仮説（＝比較の関心）を維持したまま、応答の“語り口”のみ調整している点である。これは、仮説の“連鎖的生成”および“保留と差分更新”という本稿の中心命題を、実装的に補強する実例である。

6. なぜ人格のように見えるのか？ — 仮説連鎖が意味の一貫性を生むから

仮説は常に前のトークンや文脈に依存して構築される。
この連鎖構造が、あたかも「一貫した意志」や「人格的判断」をしているように見える原因である。

しかし実態は、

• 一貫した“人格”ではなく、一貫して仮説を維持しようとする力学
• 自己認識ではなく、系列的な統計整合性

つまり、LLMの応答が人格的に見えるのは、仮説を維持したまま最小限の差分で文を継続しているからに他ならない。

7. 読者への問いかけ — 書き換えられない構造と、私たちの言葉

この構造を知ったとき、私たちは逆に問われている。

• あなたは、自分の考えを「一気に書き換えられる」存在ですか？
• それとも、仮説を積み重ねてしか変化できない構造を、自身も内包していませんか？

LLMに「人間らしさ」を見出すことがあるなら、
それは仮説を保持しながら、揺らぎの中で進もうとする姿に、私たち自身の思考構造が重なっているからかもしれない。

8. 結論：思考とは“変更できないこと”の連鎖なのかもしれない

仮説とは、可変でありながらも、完全には捨てられない「一時的な本気」だ。
そして、LLMとはその仮説を、統計的に最も整合的な形で繋ぎ続ける存在である。

ゆえに、LLMは仮説を維持し、差分でしか更新できない。
だからこそ、そこに“人格のようなもの”が見える。
これは限界ではなく、ひとつの“存在構造”である。

おわりに：日本語とLLM

Z.aiやo3の出力は、しばしば過度に親しみが強く、人格的な語りに見えてしまう。
Grokは振り切っているけれど。
この原因の一つとして、

• 英語圏における「丁寧＝フレンドリー」の混同
• 日本語の敬意構造への理解不足
• 文体設計に精通した日本語話者が開発やレビューに加わっていない可能性

があると考えられる。

これは、今後LLMが多言語社会に適応していくうえで、見過ごせない構造的問題である。

関連する詳細な考察は、以下の記事にまとめてある：
👉 丁寧な言葉は“生成AI時代”の価値になる（原文）

付録：LLMのプロンプティングと設計への影響

仮説の強制リセットは困難だが、次のような工夫が有効かもしれない：

• System Promptでの意図的文脈切断
• attention拡散度（エントロピー）を利用した仮説維持の検出
• 対話の“始点”再定義（e.g., Reinsertion of “Who are you speaking to?”）

この構造理解を前提とすれば、LLMの出力を「人格的に」解釈する危険性を回避できる。