外れ値

身長170cm前後の生徒が並んでいる中に、一人だけ2mのバスケ選手が混ざっているように、集団の中で一人だけ極端に飛び出ているデータのことです。

定義 外れ値(Outlier)とは、あるデータの集まりの中で、大部分の他の値から著しくかけ離れた極端な観測値のことです。全体のデータが集まっているグループや一般的な傾向から、ポツンと離れた特別な数値を指します。

なぜ、たった1つの極端な値が統計を狂わせるのか?

クラスメイト10人のお小遣いを調査したと想像してみましょう。9人は500円前後なのに、1人だけ10万円と書いた生徒がいました。この10人の平均額を計算すると、なんと1人あたり1万円を超えてしまいます。9人の実態とはかけ離れた、おかしな数字になってしまいますよね。

このように、他のデータから遠く離れて極端に大きい(または小さい)値を「外れ値」と呼びます。外れ値には平均値を大きく歪めてしまう性質があります。たった1つの極端な値が、全体の合計を大きく引き上げたり引き下げたりしてしまうからです。そのため、統計データを見るときに平均値だけを鵜呑みにするのは危険です。

もし外れ値によって平均値が大きくブレてしまうなら、別の指標を使う必要があります。すべての数値を大きさ順に並べたときに、ちょうど真ん中にくる値である中央値(メディアン)を確認するのです。上の例でも、中央値なら500円前後のままなので、外れ値に惑わされず全体の実態を正確に捉えられます。

このように、データの散らばり具合を見ずに平均値だけを信じると、現実を見誤る恐れがあります。たった1つの飛び抜けたデータが、集団全体の本当の姿をすっかり覆い隠してしまうことがあるからです。

外れ値が平均と中央値に与える影響 中央値(5千W) 歪んだ平均(10万W) 外れ値(100万W) 生徒9名(4~6千W) 生徒1名(100万W)

どこからを「外れ値」と判断すべきなのか?

ある数値が単に少し大きい値なのか、それとも統計上特別に扱うべき外れ値なのかを区別するには、明確な基準が必要です。統計学では、人間の勘ではなく箱ひげ図(ボックスプロット)や四分位数といった客観的な数学的ツールを活用します。

データを小さい順に並べたあと、中央50%のデータが集まる区間の幅を計算します。この幅をもとに、データの上下に見えない境界線を引くのです。この境界線の外側に飛び出たデータを、正式に外れ値の候補として判定します。主観的な感覚ではなく、厳密な数学的ルールで線引きする仕組みです。

また、釣り鐘型の正規分布データでは標準偏差という尺度を使います。平均値を中心にデータがどれくらい散らばっているかを測り、平均から標準偏差の3倍以上離れた値を外れ値とみなします。このルールに従うと、データ全体の約99.7%の外側に位置する、ごくわずかな値だけが外れ値として抽出されます。

このような客観的な基準があれば、何百万件という膨大なデータの中からでもコンピュータが自動で外れ値を検出できます。AI(人工知能)がビッグデータを学習する前に不要なノイズを除去する際にも、この判定が欠かせません。

箱ひげ図とフェンスによる外れ値判定図 フェンス(基準線) 中央50%データ 中央値 正常データ範囲 外れ値

削除すべきミスなのか、偉大な発見の手がかりなのか?

より正確に言えば、外れ値が見つかったからといって、無条件に削除したり無視したりしてはいけません。外れ値が生まれる原因は、状況によって全く異なるからです。

1つ目の原因は、単純な測定ミスや入力ミスです。体重欄に60kgと入力するはずが、キーを押し間違えて600kgと打ち込んでしまった場合、この値は分析を狂わせる明らかなエラーです。こうした外れ値は、データクレンジング作業を行って正しい値に直すか、統計分析の対象から除外する必要があります。

しかし2つ目の原因は、現実に起きた極めて稀で特別な出来事である可能性です。1980年代の南極上空のオゾン層破壊は、当初コンピュータがエラーとして無視していた外れ値データを科学者が再検証したことで発見されました。また、クレジットカードの不正利用検知や難病患者の薬物反応のように、外れ値こそが新たな大発見につながる決定的な手がかりになることもあるのです。

結局のところ、外れ値はデータを読み解く分析者の洞察力を試す試金石のようなものです。やみくもに消してしまう前に、なぜその数字が生まれたのかという背景を徹底的に探る姿勢こそが、優れた科学的探究の第一歩です。

🤔 よくある誤解

✕ 誤解

外れ値は無条件に間違って測定されたエラーなので、見つけ次第すぐに削除すべきだ。

✓ 事実

単純な誤入力や機械エラーの場合もありますが、南極のオゾンホール発見や金融の不正取引検知のように、極めて重要で現実に発生した決定的事象である可能性もあります。

🧺 日常で出会う場面

1 ある地域の住民の平均年収を調査するとき、大富豪が1人引っ越してくるだけで、住民全体の平均年収が非現実的なほど跳ね上がってしまう。
2 クレジットカード決済システムで、普段の利用パターンとは全く異なる海外での高額決済が突如発生すると、セキュリティシステムが外れ値として検知する。
💡 つまり ひとことで

外れ値とは、データ全体の一般的な傾向から大きくかけ離れた値のことで、平均値を歪めてしまう一方で、新発見をもたらす貴重な手がかりにもなります。