논문 작성) p-value가 0.05보다 클 경우 주의할 점 (동등성 검정)

간혹 두 그룹이 유의한 차이가 나지 않는다는 것을 주장하고 싶어하는 경우 'p-value가 0.05보다 크므로 두 그룹은 같다'고 기술하는 연구자들이 있습니다.

이러면 이제 리뷰어가 "그래? 잘 걸렸다" 하는거죠.

p-value가 0.05보다 크다는 것은 두 그룹이 같다는 것이 아닙니다. 단지 두 그룹의 유의한 차이를 밝히지 못한 것 뿐입니다.

뭐가 다르냐 싶겠지만 통계적 관점에선 다릅니다. 유의한 차이를 밝히지 못했다는 것은 샘플 수가 증가하면 유의한 차이가 날 수도 있다는 말이기도 합니다.

정말 '같다'는 것을 주장하려면 동등성 검정을 해야합니다만, 동등성 검정은 샘플 수가 훨씬 많이 필요합니다. 우리가 이만큼 많은 샘플로 테스트 해보았는데도 차이가 없더라~하는 것을 입증해야 하기 때문입니다. 경험상 군 당 100명 정도는 필요했습니다..

 

 

+) "두 그룹이 차이가 난다고 주장하고 싶은데 p-value가 0.05보다 살짝 큽니다."

보통 0.05보다 크게 나오는 경우는 투고하지 않으시는데, 투고하실 경우 논문의 톤을 낮추셔야 합니다.

'유의수준 0.05에서는 유의한 차이를 밝히지 못했지만, alpha 0.1 수준에서는 유의하다. 샘플 수가 증가한다면 유의한 차이가 날 수도 있다. 추후 연구에서 샘플을 더 모집하겠다.' 등등 텐션을 낮춰서 기술하시면 되겠습니다.