p값
친구가 던진 동전에서 10번 연속 앞면이 쏟아져 나올 때, '속임수가 없다면 이런 우연이 일어날 확률이 얼마나 될까?'를 계산한 숫자예요.
정의 p값(유의확률)은 어떤 실험이나 관찰에서 나타난 결과가 '순전히 우연 때문에 생겼을 확률'을 0에서 1 사이의 숫자로 나타낸 통계 지표예요. p값이 아주 작다는 것은, 아무런 특별한 요인이 개입하지 않았는데 오직 우연만으로 지금 같은 결과가 나타났을 가능성이 극히 희박하다는 뜻이에요.
동전 던지기 내기에서 시작해 볼까요?
친구와 동전 던지기 내기를 하는데, 친구가 던진 동전이 10번 연속으로 앞면만 나왔다고 상상해 보세요. 우리는 자연스럽게 '동전에 무슨 장난을 쳐둔 것 아니야?' 하고 강한 의심을 품게 돼요.
정상적인 동전으로 10번 연속 앞면이 나올 확률은 약 0.1%에 불과해요. 이처럼 '동전이 지극히 정상이다'라는 가정 아래에서, 지금처럼 극단적인 결과가 나타날 확률을 숫자로 계산한 것이 바로 p값이에요.
동전 던지기의 p값이 0.001(0.1%)이라면, '동전에 아무 속임수가 없는데 우연히 이런 일이 생겼을 확률'이 1000분의 1이라는 뜻이에요. 이렇게 우연의 확률이 터무니없이 낮으면, 우리는 상식적으로 우연이라는 가정을 버리고 친구의 속임수를 확신하게 돼요.
식물 영양제 실험과 0.05 기준선
식물에 새로운 친환경 영양제를 주었더니 보통 물만 준 화분보다 쑥쑥 잘 자랐다고 해볼게요. 이때 식물이 잘 자란 이유가 영양제 덕분인지, 아니면 우연히 튼튼한 씨앗이 걸려서인지 가려내야 해요.
과학자들은 이럴 때 통계적으로 가설을 검정해요. 학계에서는 통상적으로 우연일 확률이 5% 미만, 즉 p값이 0.05 미만으로 떨어질 때를 유의미한 기준으로 삼아요. 이를 유의수준이라고 불러요.
만약 영양제 실험의 p값이 0.02(2%)로 나왔다면, '영양제에 아무 효과가 없는데 우연히 잘 자랐을 확률'이 2%에 불과하다는 뜻이에요. 기준선인 5%보다 훨씬 낮으므로, 연구자는 우연이라는 설명을 물리치고 영양제의 성장을 돕는 효과를 인정받을 수 있어요.
조금 더 정확히 말하면
조금 더 정확히 말하면, p값은 '새로운 발견이나 주장이 진짜 맞을 확률'을 뜻하는 숫자가 아니에요. 오직 '효과가 전혀 없다는 전제가 참일 때' 지금 관찰된 데이터나 그보다 더 극단적인 데이터가 우연히 얻어질 조건부 확률을 의미해요.
또한 p값이 0.05보다 작게 나왔다고 해서 그 영양제나 기술이 엄청나게 뛰어난 혁신이라는 뜻은 아니에요. 실험 대상인 화분의 수를 수만 개로 엄청나게 늘리면, 눈에 띄지도 않는 아주 미세한 차이조차도 p값이 0.05 이하로 떨어져 유의미하게 나올 수 있거든요.
결국 p값은 터무니없는 우연을 걸러내는 훌륭한 신호등이지만, 결과의 중요성이나 진실 그 자체를 모두 보증하지는 못해요. 그래서 오늘날의 연구자들은 p값과 함께 실제 차이의 크기인 효과 크기와 신뢰구간을 꼼꼼하게 따져요.
🤔 흔한 오해
p값이 0.01이면 내 주장이 사실일 확률이 99%라는 뜻이다.
p값은 내 가설이 맞을 확률이 아니에요. '효과가 전혀 없다'고 가정했을 때 지금 같은 결과가 우연히 관찰될 확률일 뿐이에요.
🧺 일상에서 만나요
p값은 결과가 순전히 우연 때문일 확률을 뜻하며, 보통 0.05 미만일 때 우연이 아니라고 판단해요.