자연어 처리

컴퓨터는 어떻게 사람의 말을 읽을까요?

사람이 친구와 편하게 주고받는 대화나 책에 적힌 글을 '자연어'라고 불러요. 컴퓨터는 본래 숫자 0과 1만 계산할 수 있는 기계라서, 사람의 글자를 그대로 보여주면 그저 무의미한 그림이나 기호로만 받아들여요.

그래서 컴퓨터가 글을 읽게 하려면 먼저 문장을 아주 잘게 쪼개는 작업부터 시작해야 해요. 예를 들어 '사과를 맛있게 먹었다'라는 문장이 있다면, 이를 '사과', '를', '맛있게', '먹었다'처럼 가장 작은 의미 덩어리인 토큰(단어나 글자 단위)으로 나눈 뒤 각각에 고유한 번호표를 달아줘요.

그다음에는 각 단어가 가진 뜻을 수많은 숫자의 모임인 좌표로 바꿔요. 이것을 임베딩(글자를 숫자의 위치 좌표로 바꾸는 기술)이라고 불러요. 이렇게 하면 컴퓨터는 단어들 사이의 거리와 관계를 수학적으로 계산해서, '사과'와 '배'가 서로 가까운 과일이라는 사실을 알아차리게 돼요.

이렇게 글자를 숫자로 바꾼 덕분에 컴퓨터는 사람이 쓴 문장을 하나의 커다란 수학 공식처럼 다루며 빠르고 정확하게 계산을 시작할 수 있어요.

조금 더 정확히 말하면 문맥을 읽는 기술이에요

단순히 사전에서 단어 뜻을 찾아 대입한다고 해서 사람의 말을 온전히 이해할 수는 없어요. 우리말에서 '배를 탔다', '배가 고프다', '배를 깎았다'에 쓰인 '배'는 글자 모양이 똑같지만 뜻은 바다에 뜨는 배, 사람의 신체 부위, 과일로 완전히 달라요.

과거의 규칙 기반 방식은 사람이 수만 가지 문법 규칙을 컴퓨터에 일일이 적어서 입력해 주었어요. 하지만 인간이 쓰는 언어에는 예외가 너무 많고, 유행어나 줄임말까지 수시로 생겨나서 금방 한계에 부딪혔죠.

오늘날의 자연어 처리는 거대한 인공신경망을 활용해 앞뒤 문맥을 한 번에 살피는 방식으로 발전했어요. 문장 전체에서 어떤 단어가 다른 단어들과 어떻게 연결되어 있는지 확률적으로 계산해요.

덕분에 컴퓨터는 단순히 단어 하나만 보는 것을 넘어, 문단 전체의 흐름과 비유적인 표현, 심지어 말하는 사람의 숨은 의도와 뉘앙스까지 스스로 파악할 수 있게 되었어요.

우리의 일상 속 어디에 숨어 있을까요?

아침에 일어나 스마트폰 음성 비서에게 오늘 날씨를 물어보는 순간부터 자연어 처리가 작동해요. 마이크로 들어온 사람의 목소리를 문자로 바꾼 뒤, 그 문장이 날씨를 묻는 질문이라는 의도를 파악하고 알맞은 대답 문장을 만들어내는 것이죠.

외국어로 된 긴 웹사이트를 클릭 한 번으로 매끄러운 한국어로 번역해 주는 번역기나, 수많은 뉴스 기사의 핵심만 3줄로 간추려 주는 자동 요약 서비스도 모두 이 기술 덕분이에요. 이메일 서비스가 광고성 스팸 메일을 척척 골라내는 것도 문장의 특징을 분석하기 때문이에요.

요즘 전 세계적인 주목을 받는 대화형 인공지능 역시 수많은 텍스트 데이터를 학습해 완성된 거대한 자연어 처리 시스템의 결과물이에요. 컴퓨터가 사람처럼 문맥을 이해하고 글을 작성할 수 있게 되면서, 검색 엔진이나 챗봇 등 세상의 많은 서비스가 빠르게 바뀌고 있어요.