스킬과 생각 모두 중요하다
회사 생활 대부분은 분석과 기획, 실행으로 이뤄집니다. 기획을 하기 위해서는 근거가 필요하고 빨리 바뀌는 지금은 당장의 데이터로 뭔가 가져온 근거만큼 설득시킬 만한 것도 없죠. 하지만 이 근거라고 말하는 데이터가 얼마나 허상인지 데이터를 많이 다룬 분이라면 어느 부분에서는 공감하실 거라 생각합니다. 컴퓨터가 패턴을 찾아 분석하는 과정에서 어떤 재료를 넣느냐가 성패를 가늠 짓기 때문이죠. 그냥 답정너의 결과에 맞는 데이터만 추려서 이런 경향이 있다고 말하면 그건 끼워 맞추기니까요.
그래서 분석은 어떤 데이터를 쓰느냐가 전체를 좌우합니다.
확증 편향, 알고 있는 대로 알고 싶어 하는 사람의 심리. 그런 게 없다면 주식해서 잃는 사람이 지금보다는 적겠죠.
기계 학습에 필요한 데이터까지 안 가도 그냥 우리가 많이 하는 엑셀로 SQL로 하는 집계 역시 그렇습니다. 어떤 데이터를 가져와서 집계하느냐가 사실 메시지를 이미 내포하고 있죠. ‘지난 1달간 데이터만 볼 건데’, ‘어떤 서비스만 볼 건데’, ‘이런 사용자만 볼 건데’ 같은 그냥 대강 넘어갈 법도 한 이런 조건이 실은 메시지 그 자체를 결정짓는다는 것이죠.
듣고 싶어 하는 대답이 분석 결과에 나와서 ‘이제 이렇게 확산하자’, ‘이렇게 높은 목표가 실적으로 나올 거야’라고 듣기 좋은 대답을 내놓으면 나중에 목표나 예상 대비 나오는 실적을 정확하게 피드백할 수 없습니다. 더 나은 대안을 제대로 만들 수도 없게 되죠.
지표는 어떻습니까? 데이터만 참과 거짓을 말할까요?
데이터를 어떻게 가공하느냐는 데이터를 추리는 과정만큼이나 편향을 낳습니다.
여러 상품의 채널별 선호를 비교한다고 하죠. ‘선호‘란 무엇인지 여기서부터 문제는 시작됩니다. 이 결과를 어떻게 활용하느냐에 따라 ‘선호‘의 정의는 달라집니다. 채널별 상품의 주문 수 비중이 선호일 수 있고 채널별 주문 수 순위가 선호일 수 있습니다. 주문 수가 아니라 금액이 선호의 기준이 될 수도 있고 한 번 구매한 고객이 다시 주문하는 재 주문율을(물론 기간을 어떻게 정하느냐가 데이터에서 편향을 줄 수 있습니다) 선호의 기준으로 잡을 수도 있습니다.
선호에 따라서 채널별로 고객 랜딩 페이지에 상품을 싣는다고 한다면 비중보다는 순위가 선호의 기준이 될 수 있습니다. 이것보다 저것을 선택하는 것이 선호의 기준이 되기 때문이죠. 반면 지면의 제약을 받지 않는 구조의 서비스라면 순위가 아닌 비중으로 선호를 정하고 그 기준점을 어떻게 정할 것인지 과거의 선택 사례를 통해 정할 수도 있을 것입니다.
전문적으로 데이터 분석을 하는 조직이 아니라면 대부분 스킬을 통해 데이터를 처리하는 어려움보다는 무엇을 데이터로 정하고 지표로 만드는, 보다 철학적인 고민이 더 필요하고 중요합니다. 이건 실무자가 기준을 몰라 밤샘을 하고 혼자 끙끙 앓다가 누군가에게 물어보면 생각도 안 해보았다는 듯이 ‘알아서 해’, ‘전에 하던 대로 해’라고 말할 그럴 거리가 아니라는 것이죠. 디테일의 부재보다 철학의 부재가 일하는 데 어렵다는 제 다른 아티클과 다르지 않습니다.
지표 정의에서 분석이 끝난다는 표현이 모든 상황에 해당될 수는 없겠지만 곰곰이 생각해본다면 많은 부분에서 보다 더 나은 고객의 취향, 사업의 미래를 도모할 수 있을 것입니다.
PETER님이 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
