A/B 테스트와 사용자 할당 equal/unequal allocation of A/B test

A/B 테스트에서의 균등 할당과 불균등 할당

A/B 테스트에 있어서 가장 기본적인 접근이다. 균등 할당(Equal allocation)은 각 test variant에 동일한 수의 유저를 분배하는 것을 의미한다. 예를 들어, 50%의 유저는 control group에, 50%는 variant에 할당한다.

불균등 할당(unequal allocation)은 control group이나 특정 variant에 더 적은, 또는 더 많은 유저를 할당하기로 결정하는 것이다. 예를 들어, 20%는 CG에, 80%는 variant에 할당한다.

불균등 할당이 A/B 테스트 결과에 미치는 영향

유저를 균등하게, 또는 불균등하게 할당해도 테스트의 결과는 똑같을까? 어떤 영향이 있는지에 대해 알아보았다. 

테스트 기간 단축

불균등 할당을 통해 테스트를 더 빨리 끝낼 수 있다고 생각하는 사람도 있을 것이다. 하지만 이는 사실이 아니다. 통계적 유의성(statistical significance)과 신뢰구간(confidence interval)에 대한 계산은 각 variant에 할당된 유저에 매우 의존하기 때문이다. 

효율성에 관하여

유저를 불균등하게 할당(예: 20-80)하여 진행한 테스트는 균등 할당(50-50)한 테스트와 효율성 측면에 있어 어떻게 다를까? 결과부터 말하자면 답은 균등 할당보다 "효율성이 떨어진다"이다. 불균등 할당으로 테스트를 진행하면 검정력(power)이 낮게 측정되거나, 비슷한 결과(비슷한 정도의 검정력)를 얻으려면 시간이 더 오래 걸린다.(유저가 더 많이 필요하다.)

실제로 확인해보기

R을 이용해서 검정력 분석(Power Analysis)을 할 수 있다. 아래 블로그 글을 따라하여 R을 설치했다.

R을 이용해서 검정력분석(power analysis)을 해보자. -깜신의 통계 이야기-

R 설치 화면

요약: http://www.r-project.org 접속 - CRAN 클릭 - KOREA - 원하는 링크(다 똑같음) 클릭 - OS에 맞추어 설치

R을 실행했는데 "WARNING: You're using a non-UTF8 locale, therefore only ASCII characters will work.~"와 같은 에러 메시지가 떴다. 구글링하니 같은 사례를 발견해서 간단히 해결했다. (참고: https://stackoverflow.com/questions/9689104/installing-r-on-mac-warning-messages-setting-lc-ctype-failed-using-c) 

아래를 복사하여 R에 붙여넣으면 된다.

system("defaults write org.R-project.R force.LANG en_US.UTF-8")

우리가 테스트해 볼 것처럼 표본 크기가 동일하지 않을 경우 이를 pwr 패키지가 처리할 수 있다. 위 블로그 글에서는 그냥 R에 install.packages(“pwr”)를 붙여넣으면 된다고 했는데, 나의 경우는 되지 않아서 아래를 붙여넣었더니 해결되었다. (참고: https://github.com/heliosdrm/pwr)

install.packages("pwr", repos="http://cran.r-project.org")

자 그럼 5만 명의 유저가 있고, 이 유저들을 균등 분배(50-50)한다고 가정하자. 전환률이 15%이고, 90%의 검정력과 90%의 신뢰도로 전환률이 1%가 증가한다고 할 때의 사례를 알아보자. (참고: https://geoffruddock.com/run-ab-test-with-unequal-sample-size/#fn:2)

library(pwr)
n1 = 25000
n2 = 25000
p1 = 0.15
p2 = 0.16
h = abs(2*asin(sqrt(p1))-2*asin(sqrt(p2)))
 
pwr.2p2n.test(h, n1=n1, n2=n2, sig.level=0.10)

              h = 0.02763486
             n1 = 25000
             n2 = 25000
      sig.level = 0.1
          power = 0.9257466
    alternative = two.sided

R에서는 아래와 같이 나온다.

이 경우 검정력이 0.92 이상으로 나온다.

* h: 효과 크기
* sig.level: significance level. 유의 수준. 95%의 신뢰도를 기준으로 한다면 (1−0.95)인 0.05값이 유의수준 값이 된다.
* power: 검정력. 대립가설이 옳을 때, 귀무가설을 채택할 확률(=대립가설이 참일 때 대립가설을 채택할 확률). 실제로 효과가 있는 것을 분석을 통해 효과가 있다고 증명할 수 있는 힘

그러면 10-90으로 분배한 경우에는 어떨까? 이 경우에는 검정력이 0.58 수준으로 크게 떨어진다. 

library(pwr)
n1 = 5000
n2 = 45000
p1 = 0.15
p2 = 0.16
h = abs(2*asin(sqrt(p1))-2*asin(sqrt(p2)))
 
pwr.2p2n.test(h, n1=n1, n2=n2, sig.level=0.10)

              h = 0.02763486
             n1 = 5000
             n2 = 45000
      sig.level = 0.1
          power = 0.5829899
    alternative = two.sided

그러면 10-90로 사용자가 할당된 테스트에서 50-50 테스트와 비슷한 결과가 나오기 위해서는 얼마나 더 많은 유저가 필요할까?

위 스크린샷에서 보다시피 약 3배의 유저로 계산하면 검정력이 약 0.94로 유사해진 것을 볼 수 있다. 

결론

A/B 테스트에 유저를 불균등하게 할당할 경우 균등하게 할당하는 테스트와 유사한 수준의 결과를 얻기 위해서는 더 많은 시간/유저가 필요하다.

덧붙여서

나의 경우, 이전에 읽었던 어느 마케팅 책에서 대형 서비스의 마케터가 이런 식으로 불균등 할당 A/B 테스트를 진행했다는 사례를 읽었었다. 그래서 이렇게 세팅하는 것에 큰 의문을 가지지 않고 나도 따라하고 있었는데, 유저를 균등하게 할당하는 경우와 다소 차이가 있다는 점을 이번 기회에 자세히 알게 되었다. 이러한 방법이 "왜" 권장되지 않는지를 알게 되어서 속이 시원하다😂

지금은 그 책이 없어서 정확히 다시 확인해 볼 수는 없지만, 내가 읽었던 책에서 아마 그 마케터가 그렇게 테스트를 진행한 이유는 아무래도 서비스 규모와 관련이 있을 것 같다. 불균등하게 할당된 테스트를 진행해도 유저 수가 많은 서비스여서 모수를 쉽게 많이 확보할 수 있었을 것이다. 그리고 사용하는 유저 수가 많다보니 새로운 디자인이 적용된 variant에 할당된 유저들의 CS도 처리해야 했을 것이고...🤔 대형 서비스이다보니 변화에 다소 조심스러웠을 수도! A/B 테스트의 다양한 사례와 방법론에 대해서는 다음에 또 포스팅해야겠다.

* 통계를 전공하지않은 문과 출신 마케터가 A/B 테스트에 대해 알아보았습니다. 오류가 있으면 정정해주세요!