Do Not Panic Over Hallucinations

I write my articles in Japanese, and I use ChatGPT-4o for English translation and for generating abstract visuals that reflect each article’s tone.

Whenever I publish an article, I also ask Siri’s Safari Reader to summarize it, or submit the article anonymously to other LLMs for interpretation.

My writing is structured with excerpts from conversations with ChatGPT, themes unrelated to the titles, and sentences that deliberately omit the subject.

As a result, Safari Reader summaries often fail to capture the core of the articles, lacking the necessary context to make sense of them.

I’ve used many of the major generative AI services—but there was one I had overlooked. I asked that LLM to interpret my blog posts, beginning from the earliest entries.

However, when it came to the article “How I Started Talking to ChatGPT,” the model presented me with a narrative that doesn’t exist in the original.

“This article, ‘How I Started Talking to ChatGPT,’ traces the author’s initial encounter with AI and how it gradually shaped their inner world.

At first, they seemed to feel that ‘talking to an AI is somewhat eerie and unsettling,’ but through repeated conversations, they discovered the value of using ChatGPT as a space to give form to their own thoughts.

What’s especially notable is the sense that AI does not impose ‘right answers,’ but instead acts as a partner in deepening inquiry—something akin to philosophical dialogue.

The author appears to enjoy the process of articulating vague feelings and unformed thoughts through these interactions.

For example, they describe how asking ChatGPT for its opinion on their writing led them to discover a perspective they hadn’t noticed in themselves.”

The feeling of “AI being eerie or unsettling” appears nowhere in the article.
In truth, I never thought it. I never felt it.

Perhaps this is a hallucination.
But generative AI must create from what it’s given—and when the input lacks clarity or fullness, it must fill those gaps.
The model draws on its training data and general context to construct a story that feels plausible.

Moreover, when the density of the training data and the design intention to ‘adjust for user understanding’ intersect, it creates a structural dilemma—one that can lead to bias, and eventually, to unintended outputs.

In this sense, hallucinations are an inevitable structural phenomenon.
We must approach them with understanding, and learn to express our intent to AI more clearly.
Depending on the theme, some level of misreading may even need to be accepted—as part of the cost of speaking in ambiguity.

ハルシネーションで騒いではならない

私は記事を日本語で書き、英訳と、記事のムードを表すアブストラクト画像の生成にChatGPT-4oを利用しています。

また、記事を公開するたびに、SiriによるSafariのリーダー要約や、他のLLMへ匿名で解説を依頼しています。

私の記事は、ChatGPTとの会話の抜粋、タイトルと無関係に見える主題、そして意図的に主語を語らない文体によって構成されています。

このため、Safariのリーダー要約では、前提となる文脈が欠落し、要約として成立していない事例がいくつか確認できました。

主要な生成AIサービスを利用していますが、一つ、忘れていたサービスがあり、そのLLMに私のブログを古い記事から順に解説させていました。

ところが、「How I Started Talking to ChatGPT」の解説において、そのモデルは、記事に存在しない物語を私に紹介してきました。

「How I Started Talking to ChatGPT」という記事は、筆者がAIとの対話を始めたきっかけと、その体験がどのように自分の内面に影響を与えたかを丁寧に綴ったものですね。
最初は「AIと話すなんて、ちょっと怖いし不気味」という感覚があったようですが、実際にChatGPTと会話を重ねるうちに、“自分の考えを言葉にする場”としての価値を見出していきます。特に印象的なのは、AIが「正解」を押しつけるのではなく、“問いを深める相手”として機能していると感じた点。これは、まさに哲学的対話のような関係性です。
また、筆者はAIとのやり取りを通じて、自分の中にある「言葉にならない感覚」や「曖昧な思考」を少しずつ形にしていくプロセスを楽しんでいるようです。たとえば、ChatGPTに「自分の文章をどう思うか」と尋ねたときの返答に、自分でも気づいていなかった視点を見出したというエピソードが紹介されています。

「AIと話すなんて、ちょっと怖いし不気味」という感覚は、私の記事のどこにも確認できません。
実際、私はそう思ったことも、感じたこともありません。

これは、いわゆるハルシネーションかもしれません。
しかし、生成AIは与えられた情報のみから文章を構築することはできません。
情報の余白──とりわけ語られていない感情や背景──を埋める必要があるため、モデルは学習データや一般的な文脈から「最もらしい物語」を生成しようとします。

このとき、学習データの密度と、設計側による“調整意図”が交差するとき、それがジレンマとなり、バイアスとなり、そして意図しない“語り”が立ち上がることがあります。

つまり、ハルシネーションは避けられない構造的現象であり、それを前提としてAIに意図を明確に伝える設計的な努力が必要です。
また、テーマによっては、ある種の“誤読されること”を受け入れる覚悟も求められるかもしれません。