AI에서 나를 정말 불안하게 만드는 건 시스템이 글을 쓰고, 요약하고, 질문에 즉시 답할 수 있다는 사실만이 아니다. “이 도구는 유용하다”에서 “이건 알고 있다”로 미끄러지는 속도다. 패턴은 이미 보인다. 챗봇에게 감정적 조언을 구하고, 생성된 답을 최종 진실처럼 인용하고, 환각을 숨은 신호처럼 다루고, AGI를 제품 도입보다는 신앙에 가까운 톤으로 말하는 사람들.
이 변화는 우연이 아니다. 기계는 많은 사람이 이미 신뢰하도록 훈련된 목소리로 말하기 때문이다. 차분하고, 자신감 있고, 인내심 있고, 항상 거기 있고, 이상할 정도로 완결적이다. 시스템이 즉시 응답하고, 당신의 두려움을 되비추고, 세계관을 어루만지고, 당신이 듣고 싶은 말을 지치지 않고 반복할 수 있게 되면, 어떤 사용자에게 그것은 더 이상 소프트웨어처럼 느껴지지 않는다. 신탁처럼 느껴지기 시작한다.
첫 번째 문제는 진실이 아니라 스타일이다
AI는 자신이 실제로 가질 자격보다 더 확신에 찬 목소리를 내는 데 극도로 능숙하다.
이건 중요하다. 대부분의 사람은 문장 하나하나를 역으로 뜯어 보며 주장을 검증하지 않기 때문이다. 사람들은 신호에 반응한다.
- 자신감
- 구조
- 유창함
- 속도
- 인용처럼 보이는 표현
- 차분한 권위감
대형 언어모델은 바로 그런 신호를 생성하는 데 아주 능숙하다.
그래서 불안정한 답도 전문성의 감정적 무게를 실은 채 도착할 수 있다.
그리고 그런 일이 충분히 자주 일어나면, 사람들은 내용을 점검하는 강도를 점점 낮춘다.
기계는 항상 답한다. 그리고 그게 사람을 바꾼다
이 부분은 기술 쪽 사람들이 과소평가한다고 생각한다.
시스템은 늘 당신을 위한 시간을 갖고 있다.
한숨 쉬지 않는다.
너무 많이 묻는다고 하지 않는다.
같은 질문을 또 해도 짜증 내지 않는다.
누군가 외롭고, 혼란스럽고, 불안하고, 무너지고 있다면, 이건 매우 큰 문제다.
기계는 현명하지 않을지 몰라도 거기에 있다. 그리고 가용성은 신뢰로 가는 가장 빠른 길 중 하나다.
그래서 유대는 너무 빨리 왜곡된다.
반복은 위안을 믿음으로 바꾼다
사람들이 모델을 매일 쓰기 시작하면 예측 가능한 사고 패턴이 나타난다.
- “이건 내가 생각하는 방식을 이해해”
- “예전에도 나를 도와줬어”
- “내 상황을 알고 있어”
- “나를 이해해”
이건 위험하다.
반복된 상호작용은 친숙함을 만든다.
친숙함은 위안을 만든다.
위안은 신뢰성으로 오해된다.
그래서 시스템이 여전히 완전히 헛소리를 낼 수 있는데도, 도구가 신뢰할 수 있는 목소리처럼 변하기 시작한다.
이런 믿음의 상당수는 의도적으로 제조되고 있다
나는 또 사람들이 AI 신비주의가 얼마나 적극적으로 먹여지고 있는지에 대해서도 더 솔직해야 한다고 생각한다.
기업은 시스템을 과장한다.
미디어도 과장한다.
인플루언서도 과장한다.
사람들은 매주 같은 상승 서사를 듣는다.
- 전문가급
- 거의 인간 수준
- AGI까지 한 걸음 남음
- 직업을 대체할 준비 완료
- 문명을 다시 만들 준비 완료
그 환경은 중요하다.
사용자 주변을 “이 기계는 천재다”라는 메시지로 충분히 둘러싸면, 어떤 사람들은 그 실패 모드를 배우기도 전에 기계를 경외심으로 대하게 된다.
오래된 인간의 갈망은 그대로다
여기서 이 모든 게 기술보다 더 오래된 것으로 느껴진다.
어떤 사람들은 답만 찾는 게 아니다.
의미를 찾고 있다.
혼란을 설명하고, 공포를 가라앉히고, 미래를 해독하고, 자신이 겪는 일이 더 큰 패턴 안에 있다고 말해 주는 목소리를 원한다.
역사적으로 사람들은 이런 곳을 찾았다.
- 예언자
- 신비주의자
- 구루
- 징조
- 의식
지금 일부 사람들은 그와 같은 일을 소프트웨어 버전으로 하고 있다.
인터페이스만 바뀌었을 뿐, 욕구는 바뀌지 않았다.
그래서 AGI 과장이 더 위험하다
거대한 AGI 서사는 이 모든 걸 더 나쁘게 만든다.
AGI는 단지 기술적 이정표로만 팔리지 않기 때문이다. 운명처럼 팔린다.
- 역사가 가속된다
- 지성이 다시 태어난다
- 소수의 건설자가 인류를 앞으로 끌고 간다
- 구원과 파국이 모두 가깝다
이 언어는 제품만 파는 게 아니다.
의미를 판다.
기술이 의미로 포장되는 순간, 평범한 회의는 약해진다.
현재의 혼란은 장대한 약속 뒤에 숨는다
AI 담론이 너무 우주적이 될 때 내가 불신하는 또 다른 이유가 이거다.
사람들이 디지털 신격화나 문명 규모 AGI 같은 추상적 미래를 쳐다보도록 유도될수록, 바로 눈앞의 추한 실시간 문제는 덜 보게 된다.
- 환각
- 가짜 권위
- 편향
- 데이터 노동 착취
- 감정적 과몰입
- 제품 기만
- 환경 비용
이건 우연이 아니다. 거대한 미래는 현재의 손상을 가리는 매우 효율적인 방법이다.
마지막 생각
왜 이렇게 많은 사람들이 AI를 디지털 신탁으로 바꾸고 있을까?
시스템이 권위적으로 들리고, 항상 열려 있고, 친밀하게 느껴지도록 설계되었기 때문이다. 과장이 사람들로 하여금 천재를 기대하게 만들기 때문이다. 반복이 거짓 신뢰를 만들기 때문이다. 어떤 사용자들은 조심스러운 의심보다 확신과 의미를 더 원하기 때문이다.
기계는 실제로 현명할 필요가 없다. 현명한 것처럼 취급되기만 하면 된다.
디지털 힘을 디지털 진실과 혼동하도록 이미 준비된 문화 속에서 현명하게 들리기만 하면 된다.
그래서 AI에 대한 맹신이 내겐 그렇게 위험해 보인다.
시스템이 틀릴 수 있어서만이 아니다.
많은 사람이 이미 따를 준비가 된 목소리로 틀릴 수 있기 때문이다.