データクレンジング
泥のついた野菜を料理する前に、きれいに洗って下ごしらえをするような作業です。
定義 データクレンジング（Data Cleansing）とは、収集した生データから誤入力、重複した情報、空欄（欠損値）を見つけ出し、修正や削除をして整える作業のことです。データ分析や人工知能（AI）が見当違いな結論を出さないようにするための、最も基本的で重要な下準備です。
泥のついた野菜のままでは、美味しい料理は作れません
畑から収穫したばかりのニンジンには、泥や虫がつき、傷んだ葉も混ざっています。これを洗わずにそのまま鍋に入れてしまうと、砂がジャリジャリする台無しの料理になってしまいますよね。世の中から集めてくる「生のデータ」もこれとまったく同じです。
人間が手作業で入力すれば打ち間違いが起きることもありますし、システムの不具合で同じ情報が2重に保存されることもあります。必須の情報が抜けて空欄のまま送られてくることも日常茶飯事です。こうした汚れたデータをそのままコンピューターに投入すると、どれほど優秀なAIであってもおかしな結果を出してしまいます。
コンピューター科学には「ゴミを入れれば、ゴミが出てくる（Garbage In, Garbage Out）」という有名な格言があります。一流のシェフでも腐った食材で美味しい料理を作れないのと同じように、データ分析が成功するかどうかは、清潔な素材を準備できるかで決まります。
データクレンジングとは、AIという素晴らしい料理を作る前に、不純物を取り除いて新鮮で綺麗な中身だけを残す、最も大切な準備作業なのです。
具体的にはどんなお掃除をするの？
データクレンジングは、散らかったデータを役立つ資源へと変える具体的な作業です。通常は決まった手順に沿って体系的に進められます。
まず最初に行うのが「空欄（欠損値）」の処理です。たとえばアンケートで年齢欄が空白だった場合、全体の平均年齢で埋めるのか、あるいは分析対象から除外するのか、明確なルールを決めます。次に、バラバラな表記方法を1つに統一します。電話番号にハイフン（-）がある行と数字だけの行が混ざっているなら、形式をきれいに揃えます。
また、明らかにあり得ないデータもしっかり洗い出します。人間の年齢が「500歳」になっていたり、テストの点数が「マイナス20点」になっていたりする明らかな異常値を修正します。最後に、同じ顧客の注文履歴が2回重複して記録されているような重複データを1つだけ残して削除します。
このように、空白を埋め、形式を統一し、エラーや重複をなくす工程を経て、コンピューターが安心して学習・分析できる状態になるのです。
もう少し正確に言うと
もう少し正確に言うと、データクレンジングは「目障りな変な数値を何でもかんでも消してしまう」単純な掃除ではありません。
普段のデータと大きくかけ離れた値（外れ値）の中には、単なる入力ミスだけでなく、極めて重要な「本物のサイン」が隠されていることもあるからです。たとえば、普段の100倍もの決済金額はシステムのエラーかもしれませんが、実際のクレジットカード不正利用の現場かもしれません。そのため、闇雲に削除するのではなく、データの背景（文脈）を見極め、精度の高い統計的基準をもとに判断する必要があります。
実際にデータサイエンティストたちは、全業務時間の大半をデータのクレンジングと加工に費やしています。一見すると華やかなAIアルゴリズムを構築する仕事が目立ちますが、土台となるデータが美しくなければ、どんな高度な技術も無駄になってしまうからです。
信頼できるデータがあってこそ、初めて信頼できるAIが生まれます。その意味で、クレンジングはデータサイエンスの始まりであり、要（かなめ）なのです。
🤔 よくある誤解
データクレンジングは、コンピューターのソフトがボタン一つで自動的に完璧にやってくれる。
コンピューターがおかしな数値を検出することはできますが、それが単なるエラーなのか重要な異常の兆候なのかを判断し、どんな基準で処理するかは人間の専門家が決める必要があります。
🧺 日常で出会う場面
どれほど優れたAIでも綺麗なデータがなければ正しく機能しないため、データの誤りや重複を正すクレンジング作業はあらゆる分析の出発点となります。