도대체 통계에서 p value(유의수준)은 무엇인가?

<피셔가 p값을 사용한 방법>

피셔는 한 예제에서 p값이 0.01보다 작다는 것을 보인 다음 

“계산된 검증통계량의 값보다 더 크게 나올 확률은 백 번에 한 번 정도 된다. 따라서 명백히 유의적이다.”라고 말했다.

논문에서 피셔는 유의성검증을 잘못 사용하는 사람들을 다음과 같이 비판했다.

1929년<심령연구학회논문집>에 발표한 피셔 논문 중

“생명체를 생물학적인 방법으로 연구할 때 유의성검증은 필수적이다. 유의성검증은 우리가 연구하거나 찾고자 하는 원인이 아니라 우리가 통제 할 수 없는 여러 환경적 요인들에 의해 우연히 일어난 것에 현혹되지 않게 도와준다. 우리가 찾고자 하는 원인 없을 때는 거의 일어나기 어려운 결과를 유의적이라고 한다. 20번에 한 번 정도 우연히 일어나는 결과를 유의적이라고 하는 것이 통상적인 관례다. 이 기준이 어느 정도 자의적이긴 하지만 현장 연구자들에겐 편리한 기준이다. 그렇다고 실험을 20번 할 때마다 한 번은 현혹당하겠다는 것을 의미하지는 않는다. 유의성검증은 어떤 것을 무시할 것인가를 알려준다. 말하자면 유의적인 결과가 나오지 않은 실험은 무시해도 좋다는 것이다. 연구자는 유의적인 결과가 나오도록 실험을 설계할 수 있을 때만 자기가 보여주고자 하는 것을 실험으로 보여주었다고 주장할 수 있다. 따라서 유의적인 결과라 하더라도 같은 결과가 다시 나오도록 할 수 없다면 이 결과는 더 연구해야 하는 미결 상태인 것이다.”

피셔의 응용 논문을 보면, 피셔는 유의성검증으로 세 가지 결론을 내린다는 것을 알 수 있다.

만약 p값이 아주 작으면(보통 0.01 보다 작으면) 효과가 드러났다는 결론을 내린다. 만약  p값이 크면(보통 0.2보다 크면)효과가 있더라도 이 정도 규모의 실험으로는 발견할 수 없을 정도로 효과가 작다고 결론을 내린다. 만약 p값이 그 중간이면 다음 실험을 어떻게 하면 효과를 좀 더 잘 알아낼 수 있을까에 대해 생각한다. 앞에 인용한 글 외에 피셔가 p값을 해석하는 방법에 대해 명시적으로 언급한 적은 없다.

“유의성검증은 가설이 자료와 배치될 때 그 가설을 기각할 수는 있지만, 가설이 옳다는 것을 확인할 수는 없다. 이런 사실을 이해한다면 유의성검증을 제대로 보는 것이다.”-피셔

 

p값은 귀무가설이 옳다는 가정하에서 계산한 확률이 귀무가설이 틀렸다는 것을 보이기 위해 사용되는 것이다.

p값은 옳을 것 같지 않은 조건에서 계산한 확률이다. 현실과는 전혀 상관이 없다. 가능성에 대한 간접적인 측도다.

네이만은 가설검증과 관련하여 p값을 해석할 때 확률의 빈도론적 정의를 사용하였다.

네이만과 이곤 피어슨이 정립한 가설 검증법은 0.05 같은 고정된 기준값(유의수준)을 설정하고,  

p값이 이 기준값 이하가되면 귀무가설을 기각한다. 

이렇게 가설검증을 하면, 과학자들은 검증하는 횟수의 5퍼센트에서 옳은 귀무가설을 기각하게 된다.

참고문헌 

통계학의 피카소는 누구일까 - 20세기 과학혁명을 이끈 통계학 영웅들의 이야기 
데이비드 살스버그 (지은이), 박중양 (옮긴이) | 자유아카데미