[Braze] Experiment Paths Step 간단하게 알아보기

2022년 1월 20일, AB180으로부터 브레이즈 캔버스에 Experiment paths step 기능이 추가됐다는 메일을 받았다. 이 기능과 관련해서, 알게 된 것을 간단히 정리!

 

Experiment paths step의 장점

 

Experiment paths step을 사용하지 않는다면 이전 스텝과 이후 스텝을 이어준 선을 따라서 유저가 받는 메시지가 정해져 있다. 즉, experiment step을 사용하지 않으면 step1의 variant1에 step2의 variant2를 잇는다면 step1에서 variant1을 받은 유저는 step2에서 무조건 variant2를 받는다. 따라서 각 step의 메시지 문구를 테스팅할 때 이전 스텝의 메시지 영향을 받을 수 밖에 없다.

 

하지만 Experiment step을 사용하면 step1에서 variant1, variant2, variant3을 받은 유저를 다시 랜덤으로 step2의 variant1, variant2, variant3에 분배한다. (다음 스텝에서 메시지를 받을 유저를 랜덤으로 섞음!) 따라서 문구 A/B 테스팅을 진행하기 위해서는 Experiment Step을 사용하는 것이 이전 step 메시지의 영향력을 배제할 수 있는 방법인 것 같다.

추가로, experiment step을 사용하지 않으면 각 variant에 유저를 동일한 비율로 할당하지 못하기 때문에 발송 수에 차이가 생기게 된다.