콘텍스트 윈도우
인공지능이 한 번에 눈에 담고 생각할 수 있는 책상의 크기예요.
정의 콘텍스트 윈도우는 인공지능(AI)이 한 번에 머릿속에 올려놓고 읽을 수 있는 '단기 기억의 작업대 크기'예요. AI와 대화할 때 입력한 질문과 지금까지 나눈 대화, 그리고 AI가 만들어낼 답변까지 모두 포함해서 한 번에 처리할 수 있는 최대 텍스트 분량을 뜻해요.
AI의 책상이 좁으면 과거를 잊어버려요
책상 위에 펼쳐놓을 수 있는 종이의 양을 떠올려 보세요. 시험공부를 할 때 책상이 좁으면 새 책을 펼치기 위해 이전에 보던 공책을 바닥으로 치워야 해요. 인공지능도 사람처럼 과거의 모든 대화를 뇌 깊숙이 영구히 저장하고 있는 것이 아니에요.
인공지능은 사용자가 새로운 말을 건넬 때마다, 지금까지 나눈 이전 대화 기록을 책상 위에 처음부터 다시 펼쳐놓고 읽어요. 그런데 이 작업 공간의 크기에는 물리적인 한계가 있어요. 이 한계 공간을 넘어서면 가장 오래된 대화부터 책상 밖으로 밀려나며 완전히 잊히게 돼요.
대화가 길어졌을 때 인공지능이 방금 전까지 이야기하던 내 이름이나 처음에 정한 규칙을 깜빡하는 이유가 바로 이 때문이에요. 콘텍스트 윈도우는 인공지능이 대화의 맥락을 놓치지 않고 유지할 수 있는 일종의 단기 기억 용량인 셈이에요.
조금 더 정확히 말하면: 글자 수가 아닌 토큰으로 재요
우리는 보통 글의 양을 글자 수나 페이지로 세지만, 인공지능의 세계에서는 토큰(Token)이라는 단위로 계산해요. 토큰은 인공지능이 글자를 쪼개서 이해하는 단어 조각의 최소 단위예요. 영어 단어 하나는 보통 1토큰 안팎이고, 한국어는 글자 하나나 단어 하나가 여러 개의 토큰으로 쪼개지기도 해요.
콘텍스트 윈도우에서 가장 중요한 점은 사용자가 보낸 질문(입력)과 인공지능이 작성할 답변(출력)이 이 공간을 함께 나누어 쓴다는 사실이에요. 만약 허용된 토큰 한도가 8,000개인데 질문과 과거 대화가 이미 7,000토큰을 차지했다면, 인공지능은 1,000토큰 분량의 짧은 답변밖에 만들어내지 못해요.
최근에는 이 창문 크기가 비약적으로 커져서 수십만, 수백만 토큰을 지원하는 모델들이 등장했어요. 덕분에 두꺼운 전공 서적 한 권이나 수백 장짜리 기업 재무 보고서 전체를 통째로 작업대에 올려두고 한 번에 분석하고 요약하는 일이 가능해졌어요.
창문이 넓어지면 무조건 똑똑해질까요?
책상이 축구장만큼 넓어지면 아무리 많은 책을 펼쳐둘 수 있어도, 그 안에서 내가 원하는 문장 하나를 빠르게 찾아내기는 오히려 어려워질 수 있어요. 인공지능 연구자들은 이를 '건초더미 속 바늘 찾기' 문제라고 불러요. 문서의 양이 너무 방대해지면 중간 부분에 적힌 핵심 내용을 놓치는 현상이 실제로 발생하거든요.
또 다른 문제는 컴퓨터 자원이에요. 인공지능이 한 번에 고려해야 할 단어가 2배로 늘어나면, 단어와 단어 사이의 관계를 계산하는 데 드는 연산량은 그보다 훨씬 가파르게 증가해요. 그만큼 고성능 그래픽 장치와 막대한 전력이 필요하고 답변 속도도 눈에 띄게 느려질 수밖에 없어요.
결국 무작정 콘텍스트 윈도우만 키우는 것이 능사는 아니에요. 그래서 현대 인공지능 시스템은 필요한 문서만 똑똑하게 찾아서 책상 위에 딱 올려주는 검색 기술과 결합하는 방식으로 발전하고 있어요.
🤔 흔한 오해
인공지능은 사용자와 나눈 모든 대화를 평생 영구적으로 기억한다.
인공지능은 매번 콘텍스트 윈도우 크기만큼의 최근 대화만 다시 읽을 뿐이며, 이 범위를 벗어난 과거 대화는 완전히 잊어버려요.
🧺 일상에서 만나요
인공지능이 한 번에 처리하고 기억할 수 있는 텍스트의 최대 작업 공간이에요.