[ASO] Apple App Store 에서도 A/B test 가능! 그렇지만 불편한 점도...🤔

애플 앱스토어 페이지에서 A/B test하기

어느 아이콘의 전환률이 더 좋을까?

몇 달 전부터 앱스토어 커넥트에서 앱스토어 제품 페이지 정보에 대한 A/B test를 할 수 있게 되었다. 관련 페이지에서는 "App Store 제품 페이지에서 각기 다른 앱 아이콘, 스크린샷 및 앱 미리보기를 비교하여 고객들에게 반응이 더 좋은 페이지가 무엇인지 파악해 봅니다."라고 안내하고 있다. 구글 플레이 콘솔에서 하던 것처럼 스토어 등록정보에 대한 테스트를 진행하고, 더 전환률이 좋은 요소를 선택하여 적용할 수 있다는 뜻이다. 이를 애플에서는 "제품 페이지 최적화(product page optimization)"라고 한다.

제품 페이지 최적화 - App Store - Apple Developer

아이콘 테스트하기

처음으로 이 기능을 사용해 보니, 생각보다 직관적이지 않다는 생각이 먼저 들었다. 확실히 구글 플레이콘솔에서 진행하는 방법보다 복잡하다. 특이 아이콘 테스트에 대해서는 더욱 그렇다.(스크린샷의 경우 스크린샷 이미지를 넣으면 그냥 끝이다) 제품 페이지 최적화 화면에 들어가도 아이콘 테스트를 할 수 있는 버튼이나 요소가 없어서 당황할 수도 있다. 아이콘 테스트를 하는 방법을 간단히 공유하자면, 먼저 아이콘을 테스트하려면 앱 바이너리에 새로운 아이콘을 포함시켜야 한다. 구글 플레이콘솔에서처럼 그냥 이미지를 등록하는게 아니다. 

How can I test the App Icon?
Apple wants to make sure that users have a consistent experience after downloading the app, which means that after seeing the test icon on the product page, they will also see the same icon on their device after downloading the app. Therefore you will need to include the variant icon assets in your app binary for the version of the app that you would like to test. This includes all icon sizes for the applicable devices, as well as the 1024x1024 version for the App Store.

개발자에게 부탁하여 alternative icon을 앱에 추가한 후 새 바이너리를 제출하도록 해야한다. 앱 릴리즈가 필요하다.
(참고: https://stackoverflow.com/a/70432010)

나의 경우 개발팀에 앱스토어 아이콘에 대해서만 alternative icon이 필요하다고 했고, 1024*1024 사이즈의 새로운 아이콘 이미지를 전달했다. 새로운 앱 제출 후 리뷰가 끝나면 앱스토어 커넥트 제품 페이지 최적화 화면에서 앱 아이콘을 테스트 할 수 있는 항목이 새로 생긴다. 

이렇게 앱 아이콘 항목이 생기면 준비 완료!

이 화면에서 새로 추가한 대체 아이콘을 선택할 수 있어서 간단하게 실험을 시작할 수 있다. 

주의해야 할 점

"테스트를 중단하거나 새로운 버전의 앱 출시를 선택하지 않는 한 최대 90일간 테스트가 진행됩니다."

주의해야할 점이자, 구글 플레이 콘솔에서의 아이콘 테스트와 다른 점은 바로 앱이 새로 배포되면 테스트가 중단된다는 점이다. 화요일에 테스트를 시작했는데, 새로 배포가 되어 목요일에 테스트가 끝나버렸다. (3일천하...😂) 아이콘을 바꾸어서 배포하지 않더라도, 그냥 일단 배포가 되면 제품 페이지 최적화 테스트가 중단된다. 그러므로 테스트의 신뢰도가 쌓이고 결과가 나올 때까지는 앱을 배포하지 않아야 하는데, 이게 쉽지가 않다. 기존 트래픽, 전환률 등에 따라 예상 테스트 기간이 달라지는데, 신뢰도 있는 결과가 나올 때까지 꽤 오래 걸릴 수도 있다. 특히 우리 앱은 업데이트를 자주 하는 편이기 때문에 이 제품 페이지 최적화를 얼마나 활용할 수 있을지 조금 의문이 들기도 한다. 앱 다운로드 전환률이 높거나 앱 배포 주기가 조금 긴 앱의 경우에는 이 테스트가 잘 맞을 것 같다. 일단 나는 최대한 배포 일정에 맞추어서 릴리즈 되자마자 바로 테스트를 시작할 예정인데, 정규 배포 사이에 핫픽스가 있으면 중단될 것 같아서 조금 걱정이 된다..🥺