데이터 정제
흙 묻은 채소를 요리하기 전에 깨끗이 씻고 다듬는 일이에요.
정의 데이터 정제(Data Cleansing)는 수집한 원본 데이터에서 잘못된 오타, 중복된 정보, 비어 있는 칸을 찾아내 고치거나 다듬는 작업이에요. 데이터 분석이나 인공지능이 엉뚱한 결론을 내리지 않도록 돕는 가장 기본적인 밑작업이에요.
흙 묻은 채소로는 맛있는 요리를 만들 수 없어요
밭에서 갓 뽑아낸 당근에는 흙과 벌레가 묻어 있고 시든 잎도 섞여 있어요. 이걸 씻지 않고 그대로 냄비에 넣으면 모래가 씹히는 엉망진창 요리가 되고 말죠. 세상에서 수집하는 날것의 데이터도 이와 똑같아요.
사람이 손으로 입력하다 보면 오타가 나기도 하고, 시스템 문제로 같은 정보가 두 번 저장되기도 해요. 필수 정보가 텅 빈 채로 넘어오는 경우도 흔해요. 이런 오염된 정보를 그대로 컴퓨터에 넣으면 아무리 똑똑한 인공지능이라도 엉뚱한 답을 내놓게 돼요.
컴퓨터 과학에는 '쓰레기를 넣으면 쓰레기가 나온다'라는 유명한 격언이 있어요. 아무리 뛰어난 요리사도 썩은 재료로 훌륭한 음식을 만들 수 없듯이, 데이터 분석의 성공 여부는 깨끗한 재료를 준비하는 일에서 판가름 나요.
결국 데이터 정제는 인공지능이라는 멋진 요리를 만들기 전에, 불순물을 털어내고 신선한 알맹이만 남기는 가장 중요한 준비 과정이에요.
구체적으로 어떤 청소 과정을 거칠까요?
데이터 정제는 지저분한 데이터를 쓸모 있는 자원으로 바꾸는 구체적인 작업이에요. 보통 정해진 몇 가지 단계를 거쳐 체계적으로 진행돼요.
가장 먼저 비어 있는 값(결측치)을 처리해요. 예를 들어 설문조사에서 나이 칸이 비어 있다면, 전체 평균 나이로 채워 넣거나 아예 통계 분석에서 제외할지 기준을 정해요. 그다음으로는 뒤죽박죽인 표기 방식을 하나로 통일해요. 전화번호에 어떤 줄은 하이픈(-)이 있고 어떤 줄은 숫자만 있다면 일관된 형식으로 맞춰주는 식이에요.
말도 안 되는 엉터리 값도 꼼꼼히 찾아내요. 사람 나이가 500세로 적혀 있거나 시험 점수가 마이너스 20점으로 적힌 오류를 찾아내 올바르게 고치죠. 마지막으로 똑같은 사람의 주문 내역이 두 번 찍힌 것처럼 중복된 정보를 하나만 남기고 삭제해요.
이렇게 데이터의 결측치를 메우고, 형식을 맞추고, 오류와 중복을 없애는 과정을 거쳐야 비로소 컴퓨터가 안심하고 학습할 수 있는 상태가 돼요.
조금 더 정확히 말하면
조금 더 정확히 말하면, 데이터 정제는 눈에 거슬리는 이상한 값을 무조건 지워버리는 단순한 청소가 아니에요.
평소 데이터와 크게 다른 튀는 값(이상치) 중에는 단순한 입력 실수도 있지만, 아주 중요한 진짜 정보가 숨어 있을 수도 있어요. 예를 들어 평소보다 100배 큰 결제 금액은 시스템 오류일 수도 있지만, 실제 신용카드 도용 사건일 수도 있거든요. 그래서 무작정 삭제하기보다는 데이터의 맥락을 살피고 정교한 통계적 기준을 세워 다뤄야 해요.
실제로 데이터 과학자들은 전체 업무 시간의 대부분을 데이터 정제와 가공 작업에 쏟고 있어요. 겉으로 보기에는 화려한 인공지능 알고리즘을 설계하는 일이 멋져 보이지만, 밑바탕이 되는 데이터가 깨끗하지 않으면 모든 노력이 헛수고가 되기 때문이에요.
믿을 수 있는 데이터가 있어야만 믿을 수 있는 인공지능이 탄생한다는 점에서, 정제는 데이터 과학의 시작이자 끝이라고 할 수 있어요.
🤔 흔한 오해
데이터 정제는 컴퓨터 프로그램이 알아서 버튼 하나로 완벽하게 끝내준다.
컴퓨터가 이상한 수치를 찾아낼 수는 있지만, 그것이 오류인지 중요한 이상 신호인지 판단하고 어떤 기준을 적용할지는 사람 전문가가 결정해야 해요.
🧺 일상에서 만나요
아무리 뛰어난 인공지능도 깨끗한 데이터 없이는 작동할 수 없기에, 데이터의 오류와 중복을 바로잡는 정제 작업은 모든 분석의 출발점이에요.