인사이트와 레슨런을 위한 CRM마케팅
“우리는 어떤 주제를 수학적으로 처리하면 그 결과가 정확하고 타당하다고 믿는 미신을 타파해야 한다. 수학은 어떤 것을 명확하게 드러내는 것만큼 모호하게 만드는 것에도 사용될 수 있다.”
– 데이비드 바칸, <방법론> –
숫자의 홍수 속에서 당신을 구해줄 명쾌한 안내서!
책 소개 문구에 혹해 읽었던 <숫자의 함정>은 마케팅에서도 꽤나 도움 되는 부분을 찾을 수 있었다. 유의성과 비유의성의 정확한 정의를 소개하는 챕터에서는 ‘유의미하다’, ‘유의성’이라는 표현을 적절하게 사용하고 있는지 질문을 던진다. ‘유의하다’는 반드시 의미가 있다거나 이 결과 때문에 태도나 행동을 많이 변화시켜야 한다는 의미가 아니었다. 일반적으로 이해되는 ‘의미가 있다’라는 표현과 다른 특정한 뜻을 지니고 있었다.
CRM 마케팅의 결과는 숫자로 나온다. 무조건 숫자가 크면 ‘유의미했다’, 숫자가 작으면 ‘유의하지 못 했다’고 커뮤니케이션 하는 습관에 대해 다시금 되물었다. 유의라는 단어를 사용하는 방식에 혼란이 있을 수 있다는 측면에서, 내가 실험하는 CRM 마케팅은 얼마만큼의 유의성을 가지고 있었을까?
책에 따르면 표본의 크기가 크면 그룹 간 매우 작은 차이도 통계적으로 유의할 수 있지만, 큰 그룹 간의 작은 차이에서 얻은 결론은 고객에게 적용하는 것이 또 다른 문제일 수도 있다고 한다. 실험을 위한 실험을 하는 건 아닌지, 관성적으로 CRM에 접근하는 건 아닌지 책을 통해 많은 생각을 하게 되었다. 유의성을 위해 모수를 충분하게 모으는 방식으로 CRM에 접근하는 전략을 함께 고려하는 것이 필요했다.
이런 끝없는 고민은 더 나은 실험을 위한 여러 CRM 방식을 찾는 데 도움이 되었다. 그간 마이리얼트립에서 일하며 리더 분들께 받았던 피드백을 기반으로 개선을 거친 CRM 방식부터, 시행착오를 거치며 스스로 찾아냈던 CRM 유저 퍼널까지 크게 4가지를 정리해보았다.
1. A/B test, RCT(Randomized Controlled Trials)
그로스해킹에서도 자주 사용되는 A/B 테스트는 마케터라면 한번쯤 실험해보았을 방식이다. 여기서 핵심은 테스트하려는 요소를 정확하게 파악하는 것이다. 요소에는 해결할 문제가 내재되어 있다. 요소를 찾기 전 문제를 명확하게 정의해야 문제에 집중할 수 있는 방식을 빠르게 찾아 실험할 수 있다.
처음으로 CRM 캠페인을 세팅할 때 여러 아이디어가 있고 유저 반응을 살펴보고 싶은 경우가 많다. A/B 테스트를 통한 데이터 기반의 결정은 그로스해킹에서도 꼭 필요한 영역이고 이는 CRM 마케팅에서 적극적으로 활용할 수 있다. 고객의 반응을 추측하지 않고 명확하게 고객 반응을 데이터로 해석할 수 있는 멋진 깨달음의 과정이다.
A/B 테스트는 충분한 모수가 필요하다. 특히 Variant, 즉 테스트 소재가 많을수록 각 소재를 보는 유저가 줄어들기 때문에 A/B 테스트에서 통계적으로 유의미한 결과를 얻기 위해 모수가 충분해야 한다. 샘플 사이즈가 클수록 Variant의 차이를 확실하게 판단할 가능성이 높아진다. 또한 확보된 모수를 A안과 B안의 집단으로 나눌 경우 편향된 그룹으로 배정하는 것이 아니라 무작위로 랜덤하게 배치해야 각 그룹이 개입 없이 동질 집단이 될 수 있다.
어느 정도의 모수가 충분하다고 말할 수 있을까? 이 부분은 전체 유저 수, 마케팅 비용 등에 따라 다르긴 하지만 braze 공식 문서를 살펴보면 대략적인 기준으로 테스트 결과에 95% 신뢰도를 달성하려면 Variant 당 15,000명의 사용자가 필요하다고 말한다. Optimizely처럼 예상 전환율, 최소 감지 효과(MDE)등에 따라 A/B 테스트 샘플 사이즈를 계산해 볼 수 있는 사이트도 있으니 참고해보자.
또한 A/B 테스트는 채널별로 다양한 요소를 활용해서 실험할 수 있다. 이에 따라 보는 지표도 달라지는데 명확하게 개선해야 하는 지표를 정의하고 그에 따른 요소에 변주를 두어 variant를 구성하여 적절한 채널을 찾아야 한다. ‘나의 한정된 시간, 제한된 리소스를 실험에 어떻게 투자할 것인지?‘ 이 과정에서 확고한 의사결정은 더 나은 해답을 찾을 수 있게 도와준다.
2. Winning Variant 찾아 몰아주기
앱푸시 A/B테스트로 문구를 다르게 설정하여 아래와 같은 결과를 보았다고 가정해보자.
- A안: 이서님께만 드리는 3,000원 쿠폰! 오늘 마감해요.
- B안: 이서님께만 드리는 25% 쿠폰! 오늘 마감해요.
쿠폰 금액을 보여준 A안은 CTR(50%), 퍼센티지를 나타낸 B안은 (30%)로 큰 오픈율 차이가 있었다면 먼저 어떤 생각이 들까? 애초부터 전체 모수에게 A안을 보여주었으면 전체의 클릭율도 올라갔을 것이다. 이런 테스트는 샘플 사이즈가 클 경우, 아쉬움도 클 수밖에 없다.
braze에는 전체 모수에 A/B 테스트를 보내기 전에 1차로 선 테스트를 진행 후, 그중 winning 안을 나머지 모수에 2차로 보내주는 기능이 있다. 즉, 위와 같은 앱푸시를 보냈을 때 앱푸시 전체의 효율을 높일 수 있도록 미리 승리한 Variant를 찾아내는 것이다.
이런 방식은 샘플 사이즈가 매우 크고, 데일리로 발송하는 캠페인이 아닌 일회성으로 보내야 할 때 매우 유용하게 작용한다. 다만 winning을 찾아 2차로 발송하기까지 사이의 텀이 길지 않도록 최소 24시간 내에 보낼 것을 권장하고 있다.
만약 실험에서 Variant별 지표 차이가 크지 않을 경우, 변형의 차이가 명확한 테스트였는지 확인해야 한다. 내가 생각한 가설의 차이가 생각을 뒷받침할 만큼 충분히 컸는지 검증할 필요가 있다. 또한 메시지를 받은 A와 B의 각 그룹 유저들은 그 차이를 크게 느끼지 않았음을 시사하기도 한다. 이런 반복을 통해 Variant를 구성할 때 어떤 요소에 어느 정도 비교치를 둘 것인지 판단하고 인사이트를 축적해 더 나은 실험을 반복해야 한다.
3. 최소 모수 활용하여 의사결정
CRM 채널 중에서도 무료로 보낼 수 있는 채널이 있는가 하면, 발송 인원별로 금액을 산출하여 비용을 지불하는 유료 채널도 많다. 카카오톡 같은 유료 채널은 카카오의 다양한 템플릿을 활용할 수 있지만 친구 수가 많아질수록 그만큼 발송 비용도 기하급수적으로 늘기 때문에 마케팅 메시지에 반응할 타깃팅을 잘 선정하는 것이 중요하다.
사실 CRM은 한 번 발송하면 되돌릴 수 없기 때문에 1회 발송에 대한 효율화가 제한적인 건 사실이다. 퍼포먼스 광고처럼 미지 소재, 랜딩 페이지, 광고 집행 비용을 유연하게 변경할 수 없기 때문에 CRM은 처음부터 모든 영역이 best인 안을 발송하는 것이 최선이다. 여러 시행착오를 겪고 있었을 때 회사 팀 리더분께서 이를 효율적으로 관리할 수 있는 방안을 제시해주셨다. 바로 1회 발송 이전에 적정 모수를 선별해서 CRM을 먼저 테스트해보는 방식이었다.
위 2번의 winning과 비슷한 맥락이 있지만 조금 다른 점은 A/B 테스트가 아닌 (1)하나의 Variant로 몰아줄 때 또는 (2)기간이 한정적인 프로모션에 활용하기 좋은 방법이다. 전체 발송할 모수에서 소수 집단에 먼저 발송하고, 다음 액션에 대한 의사 결정을 내릴 수 있다.
소수 집단에 발송했을 때 클릭과 구매가 저조하다면, 사람들의 반응이 크지 않은 상품/서비스임을 미리 확인하고 발송의 규모를 예산에 맞게 조정해야 한다. 클릭과 구매가 이전 발송 데이터에 비해 높은 수치를 보인다면 나머지 모수에도 좋은 반응을 일으킬 거라는 예측을 가지고 발송할 수 있다.
4. 유저 행동에 따른 리타게팅 CRM
마지막으로 소개할 방식은 리타게팅 CRM 방식이다. 장기적으로 판매할 상품은 CRM에서 어떻게 효율을 높일 수 있을지 스스로 고민을 하며 구체화했던 방식이다. 흔히 리타게팅은 퍼포먼스 마케팅에서 자주 사용되는 개념인데 이를 CRM에서도 함께 적용하는 것이다.
보통 상품/서비스를 크게 홍보할 때 마케팅 팀에서는 콘텐츠(영상/이미지), 퍼포먼스, CRM, PR, 인플루언서 협업 등 여러 영역에서 집중한다. 초반 마케팅에 집중하는 한 사이클을 돌고 나면 상품 페이지를 보았지만 이탈한 자, 구매하기 버튼까지 눌렀지만 각자의 이유에서 망설이고 구매하지 않은 자, 상품 더보기 CTA 버튼 클릭을 2회 이상한 유저 등 다양한 유저의 시나리오가 발생한다.
이벤트 마감 직전까지 유저의 engagement를 높여 페이지 내 유저의 로그 데이터를 축적해둔 뒤 상품 구매 가능성이 높은 유저에게 다시 CRM 메시지를 발송하는 것이다. 메시지를 발송할 때 유저 journey 별로 아래와 같은 예시 시나리오도 적용해 볼 수 있다.
(예시)
- 상품 페이지를 보고 구매하지 않은 고객: 상품을 구매할 수 있는 할인 쿠폰 안내
- 상품 페이지 내 CTA 버튼을 클릭한 고객: 핵심 USP를 다시 소구
- 구매하기 버튼 클릭 후 결제 단계까지 진입했지만 구매하지 않은 고객: 판매 종료까지 시점 안내
- 메시지 클릭 조차 하지 않는 고객: 리타게팅 발송 대상에서 제외
메시지 문구만 바꾸어 실험하는 것을 넘어 실험 방식 고도화와 이후 어떤 결과가 예상되는지 미래의 예측을 그리는 CRM 마케터로 업무 영역을 넓혀 가고 있다. 반복된 테스트는 다음 테스트의 아이디어를 가져올 수 있고 나만의 통찰력 있는 인사이트는 그 결과치를 단단하게 만들어 준다.
어떤 방식이든 마케팅은 불완전하고 한계가 있음을 알고 있어야 한다. 다만 여러 방식을 스스로 고민하고 좋은 리더 분들의 귀중한 피드백을 적용하면 CRM마케팅도 효율화를 극대할 수 있는 경험이 가능하다. 이런 과정이 반복되면 추후에는 어떤 방법을 적용할 지 스스로 판단할 수 있는 시기가 오지 않을까? 하며 오늘도 열심히 데이터와 고객을 공부하는 시간을 보내고 있다.
김이서 님이 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
