AIについて私を本当に落ち着かなくさせるのは、システムが文章を書き、要約し、質問に即答できることだけではありません。「この道具は便利だ」から「こいつは知っている」へ滑っていく人の速さです。もうそのパターンは、あちこちで見える。チャットボットに感情の相談をし、生成された答えを最終的な真実みたいに引用し、ハルシネーションを隠れたサインのように扱い、AGIをプロダクト導入より信仰に近い調子で語る。
この変化は偶然ではありません。機械は、多くの人がすでに信頼するよう訓練されてきた声で喋るからです。穏やかで、自信があり、辛抱強く、いつでもそこにいて、妙に完結している。システムが即座に返答し、あなたの恐れを反響させ、世界観をなで、あなたの聞きたいことを疲れずに繰り返せるようになると、一部のユーザーにとってそれはソフトウェアではなくなります。神託に見え始めるんです。
最初の問題は、中身ではなくスタイルだ
AIは、本来持つべき以上の確信を帯びて聞こえるのが異常にうまい。
ここが重要です。多くの人は、一文ずつ逆解析して主張を検証したりしません。反応しているのは、次のようなサインです。
- 自信
- 構造
- 流暢さ
- 速さ
- 引用っぽい言い回し
- 落ち着いた権威感
大規模言語モデルは、まさにそれらを生成するのがとても上手い。
だから、足元の弱い答えであっても、感情の上では専門性の重みを帯びて届いてしまう。
そしてそれが何度も起きると、人は内容を点検する厳しさを落としていきます。
機械はいつでも返事をする。そして、それが人を変える
この部分は、技術畑の人に過小評価されがちだと思います。
システムは、いつでもあなたのための時間を持っている。
ため息をつかない。
「聞きすぎだ」と言わない。
同じ質問を繰り返しても、苛立たない。
もし誰かが孤独で、混乱していて、不安で、追い詰められているなら、それはとても大きい。
機械は賢くないかもしれない。でも、そこにいる。可用性は、信頼へ向かう最短の道の一つです。
だからこそ、関係の歪みがあまりに速く起きる。
反復は、安心感を信仰へ変える
人々が毎日モデルを使い始めると、予測可能な思考パターンが出てきます。
- 「こいつは自分の考え方をわかっている」
- 「前にも助けてくれた」
- 「自分の状況を知っている」
- 「自分を理解している」
これは危ない。
反復的なやり取りは親しさを生みます。
親しさは安心を生む。
そして安心は、信頼性と誤読される。
こうして、本来のシステムが依然として平然とナンセンスを生成できるままでも、道具が“信頼すべき声”になっていくんです。
こうした信仰のかなりの部分は、意図的に製造されている
AI神秘主義が、どれだけ積極的に食わせられているかについても、人はもっと正直であるべきだと思います。
企業がシステムを煽る。
メディアが煽る。
インフルエンサーが煽る。
毎週のように、人々はこういう段階的な物語を聞かされる。
- 専門家レベル
- ほぼ人間
- AGIまであと一歩
- 職業を置き換える準備ができている
- 文明を作り変える準備ができている
この環境は効きます。
十分な量の「この機械は天才だ」というメッセージで囲めば、一部の人は、システムの失敗パターンを学ぶ前から、機械を畏れとともに扱い始める。
昔からある人間の飢えは、そのまま残っている
ここで、この全体がテクノロジーより古いものに感じ始める。
人々が求めているのは、答えだけではない。
意味です。
混沌を説明し、恐れを鎮め、未来を読み解き、自分が経験していることには何かもっと大きな筋道があるのだと告げる声を求めている。
歴史的に、人間はそういうものを次のような場所に求めてきました。
- 預言者
- 神秘家
- 教祖
- 前兆
- 儀式
いま、一部の人たちはそのソフトウェア版をやっている。
インターフェースが変わっただけで、必要のほうは変わっていないんです。
AGIハイプがこの問題をさらに悪くする
壮大なAGI物語は、状況全体をいっそう悪くします。
なぜならAGIは、単なる技術的マイルストーンとしてではなく、運命みたいに売り込まれるからです。
- 歴史は加速している
- 知性が再誕している
- 一握りのビルダーが人類を前へ導いている
- 救済と破滅が同時に近い
こういう言葉は、プロダクトを売るだけではありません。
意味を売る。
そして、技術が意味で包まれると、普通の懐疑は弱くなります。
現在進行形のひどさは、壮大な約束の陰に隠れる
AIの言説が宇宙的になりすぎると私が信用しなくなる理由も、ここです。
人々がデジタルな神格化や文明規模のAGI未来のような抽象的ビジョンを見つめるよう促されるほど、目の前で起きている醜い問題には目を向けなくなる。
- ハルシネーション
- 偽の権威
- バイアス
- データ労働における搾取
- 感情的な過剰愛着
- プロダクト上のごまかし
- 環境コスト
これは偶然ではありません。壮大な未来は、現在の損害から人々の注意をそらすのにとても有効なんです。
最後に
では、なぜこんなにも多くの人がAIをデジタル神託へ変えてしまうのか。
システムが、権威あるように聞こえ、いつでもそこにいて、親密に感じられるよう設計されているからです。ハイプが人々に天才を期待させるからです。反復が偽の信頼を生むからです。そして一部のユーザーは、慎重な疑いよりも、確実さと意味を欲しがるからです。
機械は、本当に賢くある必要なんてない。
すでにデジタルな力をデジタルな真理と取り違えるよう仕向けられた文化の中で、賢く聞こえればいい。
それが、私にとってAIへの盲信がこれほど危険に思える理由です。
システムが間違いうるから、だけではない。
多くの人がすでに従う用意をしている声で、その間違いを語れてしまうからです。