할루시네이션
모르는 시험 문제 앞에서도 너무나 당당하고 그럴싸하게 거짓 답을 지어내는 학생의 모습이에요.
정의 할루시네이션(환각)은 인공지능이 사실이 아니거나 존재하지 않는 정보를 마치 진짜인 것처럼 아주 자연스럽고 당당하게 말하는 현상이에요. 거짓말을 하려는 악의가 있는 것이 아니라, 다음에 올 가장 그럴듯한 단어를 확률적으로 조합하다가 생기는 인공지능의 대표적인 한계예요.
왜 인공지능은 거짓말을 당당하게 할까요?
친구와 함께 문장 이어 쓰기 게임을 한다고 상상해 보세요. 앞 사람이 던진 단어 뒤에 가장 자연스럽게 이어질 단어를 골라 문장을 완성하는 놀이예요.
생성형 인공지능(대규모 언어 모델)도 기본적으로 이와 똑같은 방식으로 글을 써요. 인공지능은 질문의 진짜 뜻을 사람처럼 깊이 이해하고 답하는 것이 아니에요. 지금까지 학습한 방대한 글을 바탕으로 '이 질문 뒤에는 이런 단어들이 오는 게 가장 자연스럽겠구나'를 계산해서 단어를 하나씩 이어붙일 뿐이죠.
문제는 인공지능에게 질문에 대한 정확한 정보가 없을 때도 단어 잇기를 멈추지 않는다는 점이에요. 인공지능에게는 참과 거짓을 가리는 감각이 없어요. 그저 문법이 매끄럽고 맥락에 어울리는 가장 그럴듯한 문장 만들기에만 집중하다 보니, 세상에 없는 엉터리 정보를 진짜처럼 만들어 내는 것이죠.
조금 더 정확히 말하면: 확률의 함정
할루시네이션은 인공지능이 멍청해서가 아니라 언어를 생성하는 수학적 원리 때문에 발생하는 필연적인 현상이에요.
대규모 언어 모델은 수억 권 분량의 책과 문서를 읽으며 단어 사이의 확률적 거리를 학습했어요. 예를 들어 '대한민국의 수도는' 뒤에는 높은 확률로 '서울'이 온다는 것을 통계적으로 아는 것이죠. 하지만 학습 데이터에 없는 생소한 인물이나 역사적 사건에 대해 물어보면 통계적 구멍이 생겨요.
이때 인공지능은 빈틈을 채우기 위해 그동안 배웠던 수많은 표현들을 통계적으로 버무려 새로운 답변을 창작해 버려요. 성능이 뛰어난 최신 모델일수록 문장력이 뛰어나서, 거짓 정보를 더 완벽한 논리로 포장하기 때문에 사람이 속아 넘어가기 훨씬 쉬워져요.
할루시네이션을 줄이기 위한 노력들
할루시네이션은 인공지능을 믿고 쓰기 어렵게 만드는 가장 큰 걸림돌이에요. 특히 법률, 의료, 금융처럼 정확성이 생명인 분야에서는 치명적인 사고를 일으킬 수 있죠.
그래서 최근에는 인공지능에게 모든 답을 머릿속 기억에서만 꺼내게 하지 않아요. 신뢰할 수 있는 최신 문서나 데이터베이스를 먼저 찾아보게 한 뒤 답변을 작성하도록 돕는 검색 증강 생성(RAG) 기술을 널리 사용하고 있어요. 시험을 볼 때 외운 것에만 의존하지 않고 교과서를 펼쳐 보며 답을 쓰게 하는 셈이에요.
하지만 아무리 기술이 발전해도 인공지능의 확률적 특성상 환각을 완전히 없애기는 어려워요. 따라서 인공지능이 내놓은 중요한 숫자나 전문 지식은 맹신하지 않고, 사람이 직접 출처를 확인하는 교차 검증을 반드시 거쳐야 해요.
🤔 흔한 오해
인공지능이 사람을 속이려고 의도적으로 거짓말을 하는 것이다.
인공지능에게는 악의나 거짓말의 의도가 전혀 없어요. 그저 확률적으로 다음 단어를 이어붙이다가 사실과 다른 엉터리 조합이 만들어진 것뿐이에요.
인공지능 모델의 크기가 커지면 할루시네이션은 완전히 사라진다.
인공지능이 단어를 확률적으로 생성하는 원리를 사용하는 한, 지식을 창작해 버리는 환각 현상을 100% 완벽하게 없애기는 구조적으로 매우 어려워요.
🧺 일상에서 만나요
인공지능이 질문을 이해해서가 아니라 다음 단어를 확률적으로 잇다가 지어내는 그럴듯한 거짓 답변이에요.