[Braze] 🔔새 기능 알림, 인앱메시지로? 푸시로? 어느 채널로 보낼까?

우리 앱의 새 기능을 더 많은 유저들이 발견하고 이용하도록 알림을 주고자 한다. 유저들은 푸시와 인앱메시지 중 어느 채널에 더 많이 반응할까? 많은 아티클에서 인앱 환경(인앱메시지 또는 앱 내 구좌)를 추천하는데, 그래도 테스트를 통해 직접 데이터를 보고싶었다.
그 전에 읽어보면 좋은 글: How to Announce New Features Efficiently to Increase Product Adoption?
읽기 귀찮은 분들을 위해 이 아티클을 간단히 목록화 하자면...

<5 Strategies to Make Fantastic Feature Announcements>

1. Set a Clear Goal
2. Identify Your Target Audience
3. Point Out the Benefits of the New Feature
4. Build a Killer Help Center Article or Add a Walkthrough in Your Announcement
5. Use an In-App Environment for Your Feature Announcement

자 그럼 테스트 준비를 해보자!

캔버스에서 유저를 딱 반으로 나눠서 메시지를 보내볼까?

가장 처음으로 들 수 있는 생각. 캔버스에서 유저를 50%씩 할당해서, 한 쪽에는 푸시 알림, 한 쪽에는 인앱메시지를 전송한다. 자 그런데 조금만 생각해보면 이렇게 하면 안될 것 같다는 생각이 스물스물 든다. 푸시 알림은 push enable is true 일 때만 발송할 수 있다. 인앱메시지는 앱에 들어오는 유저들에게 노출되는 것이므로 두 집단 간의 발송량에 차이가 생기게 된다. 

방법 1. 중점 사항: 더 많은 캠페인 발송 모수 확보

더 많은 캠페인 발송 모수를 확보하기 위해, 최근에 앱을 사용한 적이 있는 유저 중 푸시를 허용한 유저에게는 푸시 캠페인을 진행하고, 푸시를 허용하지 않은 유저에게는 IAM 캠페인을 진행하여 테스팅하기
➡️ 푸시를 허용한 유저, 푸시를 허용하지 않은 유저로 테스트 집단을 나누게 되는데, 이 푸시 허용 여부에 따라 집단의 성격이 달라질 수도 있음을 유의해야 한다. 푸시를 거부한 유저는 애초에 앱에 참여하고자 하는 의사가 다소 떨어지는 것으로 간주될 수 있고, 그러면 인앱메시지를 보여줘도 반응이 덜 할 수도 있는 것이다. 
➡️ 푸시를 허용 여부로 집단을 나누게 되면 당연히 푸시 수신 거부 쪽 집단이 더 모수가 클 것이다. 캠페인 발송 수 관련해서는 Push 가능 발송 수만큼 IAM 캠페인 디스플레이 수를 한정하여 두 캠페인의 발송 수가 비슷하도록 조절이 가능하다.

방법 2. 중점 사항: 최대한 균등한 집단에 테스트

가장 비슷한 집단끼리 테스팅을 하기 위해, 최근에 앱을 사용한 적이 있는 유저 중 푸시를 허용한 유저만을 대상으로 캠페인을 진행하여, 여기서 절반은 푸시 캠페인, 절반은 IAM 캠페인으로 테스팅하기
➡️ 이 방법은 두 테스트 집단의 성격이 가장 비슷하나, Push enable is true의 필터를 걸어야하므로, 발송 모수가 줄어들게 된다는 단점이 있다. 

여기서 잠깐🖐🏻 인앱메시지의 "expire"은 어떤 설정이지?

캔버스에서 인앱 메시지의 expire는 유저가 캔버스의 해당 스텝에 진입하고 얼마 동안 인앱 메시지 디스플레이를 가능하게 할지 세팅할 수 있는 기능이다.

✦ Message expires after specified period
이 옵션을 사용하면 해당 스텝에 진입한 후 얼마 동안 해당 인앱 메시지를 활성화 시킬지 기간을 정해줄 수 있다. 예를 들어, 여기서 1 day(s) after를 설정하면 해당 스텝에 진입한 뒤, 1일 동안 앱에 접속하지 않으면 인앱 메시지는 받아 볼 수 없게 되고, re-enter을 설정하지 않았다면 앱에 접속한 유저만 최대 1회 받게 된다.
✦ Message expires by specified date
이 옵션을 사용하면 특정 날짜를 선택해 해당 인앱 메시지의 활성화 기간을 설정할 수 있다. 예를 들어, 여기서 만료 기간을 3/17로 설정했을 때 해당 스텝에 진입한 후 3/17 안에 앱을 실행시키지 않은 유저는 해당 인앱 메시지를 받아볼 수 없게 되고, re-enter을 설정하지 않았다면 3/17 안에 앱에 접속한 유저만 최대 1회 받게 된다.

캔버스에서 인앱메시지 트리거 설정

캔버스에서 인앱 메시지 채널을 사용하실 때에는 트리거 이벤트를 커스텀 이벤트로 설정하는 것은 불가능하며, 무조건 Start Sesson 이벤트만 인앱 메시지의 트리거 이벤트가 된다. Canvas - In-app message 에서 Delay를 설정하려고 해도 Action-Based는 비활성화 되어있다. 

나는 동질한 집단을 대상으로 테스트해보고 싶어서 방법 2를 선택했다. 아직 새로운 기능이 릴리즈 되기 전이라 캔버스 런치를 하지 않았다. 어떤 결과가 나올지 궁금해진다. 👀 테스트 결과는 다음 게시물에서 계속!