MDE는 어떻게 설계해야 되는가? (Ver.1)
요약 1안: 업계 표준 기준을 사용한다. (상한선 5%) 2안: 과거의 실험 데이터를 기반으로, 비즈니스 적으로 유의미한 개선 수준을 설정한다. 3안: 검정력 공식을 역으로 사용해서 검정 가능한 MDE를 확인한다.
Category
통계학
최소 샘플 사이즈는 언제 어떻게 계산하는가?
요약 최소 샘플 사이즈는 실험 결과의 오류율(1종 오류 α, 2종 오류 β)과 실험 목표 수준을 통제하기 위해 실험 시작 전에 설계되어야 한다. 하지만 실험 진행 중 지표의 분산이 초기 추정값과 크게 다를 경우, 이를 기반으로 샘플 크기를 재추정할 수 있다. 물론, 이 ...
검정력을 확보해야 하는 이유
요약 관찰된 효과의 크기가 통계적으로 유의하더라도 (p-value < 0.05) 실제 효과보다 과장 되었을 가능성이 있으며 검정력이 낮을수록 과장의 정도가 심해진다.
회고
정들었던 회사를 떠나며
언젠가 나도 지금 있는 회사를 떠나게 된다면, 한때 유행했던 ‘퇴사 부검’을 작성하며 담담히 이별을 준비할 거라 생각했다. 하지만 막상 이별을 준비하는 요즘의 나는 새로운 도전에 대한 두근거림 만큼 진한 아쉬움과 알 수 없는 두려움을 마주하고 있다. 그건 아마도 이곳에서 보낸 지난...
시니어가 이직을 준비할 때 주의할 점
제목이 거창하지만, 이번 글은 최근 면접을 보며 느낀 감정과 반성에 대한 기록이다. 더 겸손해지자, 그리고 더 나은 사람이 되자