Are you seeing right metric?

 

 

 

 

안녕하세요?

신사동 마케터입니다.

 

이전 글에서는 우리가 데이터 활용에 매번 실패하는 이유 두 가지 중 첫 번째 이유에 대해 알아봤어요. 문제를 명확하게 정의하지 않기 때문이고 문제를 더 잘 정의하기 위한 3가지 팁에 대해서도 알아봤습니다.

이번 포스팅은 두 번째 원인인 정의한 문제와 사용하는 데이터가 일치하지 않는 문제에 대해 이야기해보겠습니다. 예를 들어 아래와 같은 문제가 있다고 가정해볼 때, 어떤 지표를 봐야 현재 문제 상황을 가장 정확하게 파악할 수 있을까요?  

 

 

---

 

 

문제정의 : 광고에 대한 반응이 적다

 

이 문장을 보고 바로 특정 지표를 떠올리셨다면 데이터 활용에 실패할 확률이 높습니다. 반응이 적다는 현상을 확인하기 위한 지표를 특정하려면 우선 ‘반응’이라는 것이 정확하게 무엇인지에 대한 정의가 필요합니다. 반응에 대한 정의를 하려면 애초에 광고는 어떤 광고였는지, 우리 회사는 이 광고를 통해 얻고자 하는 것이 무엇이었는지 정의가 필요하죠. 만약 광고가 신제품 인지도 향상이 목적이었다면 ‘도달’이 반응을 확인하는 지표가 될 수 있습니다. 반면에 바이럴을 일으키고 싶었다면 ‘댓글 수’나 ‘공유하기’ 같은 지표를 봐야겠죠.

다른 예시를 하나 더 들어보겠습니다.

 

 

---

 

 

문제정의: 이전달 앱 평균 체류시간은 5분이었는데 이번 달 체류시간이 20분으로 증가했다

 

위의 경우 어떤 지표를 봐야 앱 평균 체류시간이 400% 증가한 원인을 파악할 수 있을까요?

이 지표를 보고 마냥 좋아했다면 죄송하지만 평범한 마케터에 속할 확률이 높습니다. 이렇게 지표가 비정상적인 수준으로 증가했다면 제일 먼저 확인해야 하는 건 지표 측정이 제대로 됐는지부터 입니다. 체류시간을 측정하는 방법이나 정의, 타이밍이 동일한 기준으로 측정된 것이 맞는지부터 확인해야 합니다.

예를 들어 이전달에는 체류시간을 측정하는 기준이 페이지뷰(pageview) 였는데 이번 달부터 조회 요청(Hit)으로 변경한 경우 동일한 측정기준이 아니기 때문에 유저의 실제 체류시간이 개선되었다고 결론을 내릴 수 없습니다. 유저의 체류시간을 제대로 측정하고 싶다면 다음 달까지 기다렸다가 변경된 측정기준으로 체류시간을 재 측정한 후 이번 달(다음 달 기준 저번 달) 체류시간과 비교를 하면 됩니다. 혹은 저번 달 체류시간(5분)의 측정기준을 변경된 측정기준(조회 요청)으로 재계산한 후 비교해도 됩니다. (하지만 대부분의 회사에서 과거 데이터를 소급 적용하지 않기 때문에 전자의 방법으로 많이 확인합니다.)  

 

 

 

 

만약 측정기준을 동일하게 맞췄음에도 정말로 400% 개선이 이뤄졌다면 이러한 지표 변화의 궁극적인 원인 요소가 무엇인지 파악이 필요합니다. 원인 요소는 비즈니스마다 그리고 운영하고 있는 서비스마다 다르기 때문에 어떤 지표를 봐야 한다를 말하기는 어렵습니다. 다만 원인 요소를 탐색할 때는 이전과 달라진 액션이나 상황을 우선순위로 탐색해야 합니다. 예를 들어 새롭게 추가된 신규 광고 채널이 있다면 해당 채널에서 유입된 유저들이 원인이 되지는 않았는지 점검해보는 거죠. 변화는 절대 그냥 만들어지지 않습니다. 특히 그것이 개선이라면요.

 

정리해보면,   

• 지표에 급격한 변화가 발생한 경우 동일한 측정기준을 적용한 것이 맞는지 확인한다.
• 동일한 측정기준을 적용했음에도 불구하고 변화가 발생했다면 인풋 요소 중 변경이 일어난 것들을 우선적으로 탐색한다.   

 

마지막으로 한 가지 예시만 더 들어보겠습니다.

아래 테이블을 보고 문제 상황과 원인 파악을 위한 지표를 정의했습니다.

 

 

 

 

• 문제정의 : MAU가 감소했다.
• 지표: 앱 오픈 횟수 1회 유저가 대폭 감소했다.  

 

우선 MAU가 전월 대비 감소한 것은 맞습니다. 그런데 만약 이 비즈니스가 계절성(seasonality)을 가진 비즈니스라면 어떻게 될까요? 여름철이 성수기이고 계절이 바뀌면서 MAU는 원래 떨어지는 거죠. 그런 경우에는 작년 동기 즉, 21년 9월과 데이터를 비교해야 합니다. 그리고 ‘전월 대비 감소했다’도 얼마나 감소했는지 구체적으로 적어주면 좋습니다. 즉 ‘전월인 22년 8월 대비 약 -29% MAU 감소가 있었다.’라는 식으로 비교 기준과 변화율을 적어주면 문제에 대한 딜리버리가 훨씬 좋아지겠죠.

MAU 감소 원인을 파악하기 위해 앱 오픈 횟수를 구간대로 나누고 가장 많이 감소한 구간인 1회 구간 유저들을 주요 원인 지표로 정의했습니다. 문제정의에 따라 마케팅팀이 해야 할 일은 앱 오픈이 전혀 없는 유저를 1회 오픈시키는 계획을 수립하는 것이 될 겁니다. (참 쉽죠?) 나쁜 계획은 아니지만 딱히 우수하다고 느껴지지는 않습니다. MAU라는 지표는 uniq 값입니다. 다시 말해 1명의 유저가 한 달 동안 앱을 100번을 오픈해도 1번을 오픈해도 MAU에서는 동일하게 1로 카운트되는 거죠. 단순하게 MAU라는 숫자를 회복하는 것이 목표라면 유저가 딱 한 번만 앱을 오픈하게 만들면 됩니다. 앱을 한 번만 오픈시키는 방법은 간단하고 다양합니다. 앱을 오픈하면 쿠폰을 준다거나 트래픽을 부풀려주는 업체를 컨택할 수도 있습니다. 하지만 이건 누구라도 원하는 결과는 아니겠죠?

 

 

 

 

이 문제를 잘 풀고 싶다면 우리가 MAU를 관리해야 하는 배경에 대한 고민이 필요합니다.

특별한 사유 없이 MAU가 지속적으로 감소한다는 건 유저가 이탈한다는 의미입니다. 그렇다면 봐야 할 지표 또한 달라져야 하지 않을까요? 어떻게 해야 앱에 불만족하고 이탈하는 유저를 MAU라는 지표에서 발라낼 수 있을까요?  이 부분은 각자 고민할 수 있는 영역으로 남겨둘게요. (댓글 환영)

 

정리해보면,   

• 문제는 최대한 구체적이고 정략적으로 정의한다.
• 최초 문제 상황을 해결하기로 한 배경을 생각하면서 지표를 정의한다.   

 

이번 포스팅에서는 우리가 데이터 활용에 실패하는 두 번째 이유에 대해 알아봤습니다. 다음 글에서는 KPI에 대해 알아볼게요.

오늘도 행복하세요~!

 

 

---

 

 

데이터를 기반으로 마케팅 업무를 하는 분들과 생각과 고민을 나누기 위해 ‘마케터의 지표정의’에 관련된 글을 시리즈로 연재하고자 합니다. 어떤 지표를 목표로 달려가느냐가 마케팅의 성공 여부를 결정한다고 생각해요. 제대로 된 지표와 함께 서비스를 성장시키고 싶은 많은 분들에게 도움이 되길 바라며 앞으로 제가 공유할 이야기들의 목차는 아래와 같습니다.

 

#0.Intro_데이터로 마케팅하기 어려운 당신에게

#1.우리가 데이터 활용에 매번 실패하는 첫번째 이유

#2.우리가 데이터 활용에 매번 실패하는 두번째 이유(▶We are here)

#3.KPI란?

#4.북극성지표란?

#5.북극성 지표의 조건

#6.좋은 가설의 조건

#7.북극성 지표 가설 수립

#8.데이터 추출 요건 정의하는 방법

#9.데이터 해석하는 방법

#10.북극성 지표 정의

#11.문제해결을 돕는 그로스마케터의 사고법 1

#12.문제해결을 돕는 그로스마케터의 사고법 2

#13.문제해결을 돕는 그로스마케터의 사고법 3

#14. Outro_데이터 활용&그로스마케팅 관련 도서추천