이직할 때 ‘우리 회사 데이터 분석 잘한다’는 말에 낚이지 않는 방법

면접보러 간 회사 앞에 이런 게 보인다면?

데이터 분석 열심히 한다던 그 회사, 막상 들어가 보면 왜 다 엉망진창일까?

최근 들으면 알만한 구독형 서비스로 이직한 지인 A의 고민을 접할 기회가 있었다. 자기 일에 열심인 A는 ‘데이터 분석을 통한 성장 전략(a.k.a 그로스 해킹)’에 관심이 많은 터라, 데이터를 기반으로 전략을 만들고 실행하는 회사를 가려고 여러 회사를 후보군에 두고 신중히 고민했다. 그중에서 제일 잘할 것 같은 회사에 들어갔는데, 들어가 봤더니 실상은 그렇지 못한 것이었다.

  • A: 조민희 대표님, 대표님 회사는 데이터 분석 어떻게 하나요? 지금 회사 잘할 줄 알고 들어왔는데, 기대했던 것과 너무 다르네요. 책도 쓰시고 평소에 이야기 하시는 거 들어보면 대표님네 회사는 진짜 제대로 하는 것 같은데 궁금하네요.
  • 나: 저희 회사가 잘하는 것 같다고요? 음… 부끄럽네요 ㅎㅎ;;

내가 그렇게 이야기한 것은 겸손한 척하려는 것이 절대 아니다. 데이터 분석 기반으로 전략을 세우고 실행한다는 것은 정말 너무너무 어려운 일이기 때문이다. 그런 맥락에서 나는 데이터 분석가들 사이에서 종종 언급되는 아래 문장을 너무 좋아한다.

데이터 분석은 10대들의 섹스와 같다. 다들 그것에 관해서 이야기 하고, 누구도 진짜 어떻게 하는지는 모르지만, 다른 사람들은 다 하고 있을 것으로 생각해서, 모두 그들도 하고 있다고 주장한다. (Big data is like teenage sex; everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it)

듀크대학교 교수 ‘댄 애리얼리(Dan Ariely)’

‘빈 수레가 요란하다‘는 속담처럼, ‘우리 데이터 분석 잘해요!’라고 떠드는 회사는 실제로는 제대로 못 하고 있을 가능성이 높다. 그럼 어떻게 진짜 데이터 분석 잘하는 회사를 골라낼 수 있을까?

데이터 분석 잘하는 회사를 골라낼 수 있는 단 하나의 질문

사용자 데이터를 잘 분석해서, 성장 전략을 짠다는 것은 너무 어려운 일이다. 사용자들에게 주고 싶은 가치를 정의하고, 그 가치가 전달되었는지 측정할 수 있는 가설을 세우고, 가설을 검증하기 위한 시스템을 만들고, 축적된 거대한 데이터 속에서 우리에게 진짜 필요한 데이터만 선별하고, 그 결과를 모두가 쉽게 알 수 있는 쉬운 지표로 만드는 것은 글로 쓰기에도 진이 빠지는 일이다.

그런데 대부분의 회사는 이 과정을 그들이 어떻게 멋지게 하고 있는지에 대해서만 이야기한다. ‘데이터를 쌓기 위해 어떤 최신 인프라를 사용하고 있고, 얼마나 멋진 분석 방법론을 사용하고 있으며, 실험을 위한 도구에 얼마나 투자하고 있는가?’ 등. 그들이 만들어낸 실질적 결과보다는 과정의 멋짐에 취해있다.

그렇다면 진짜 데이터 분석 잘하는 회사는 어떻게 이야기할까? 그들은 그 힘든 과정을 거쳐 만든 구체적인 결과에 대해서 이야기한다. 예를 들면 이렇게 말이다.

  • 우리는 구독형 서비스를 만드는 회사인데, 최근에 벤치마크 서비스와 비교해서 전체 사용자 퍼널 (Funnel) 중 추천(Refferal) 단계에 문제가 있는 것 같아서, 추천 요청 타이밍을 바꾸는 실험을 통해 기존 대비 20%를 개선한 결과를 만들었다.
  • 우리에게 맞는 광고 채널을 찾기 위해 최근 2개월간, ‘검색 광고 / 디스플레이 광고 / 동영상 광고 / 인플루언서 마케팅’ 4개 카테고리에 대해서 30개 정도 되는 채널에 총 3,000만 원 정도를 집행했고, 그 결과 디스플레이 광고와 인플루언서 마케팅이 제일 효과가 좋은 것 같아, 두 가지에만 집중하기로 했다.

위 문장에 데이터 분석 방법론이 어떻고, 어떤 실험 도구를 쓰고, 누가 수행했는지는 단 한마디도 나오지 않는다. 회사 성장의 걸림돌이라고 생각되는 가장 중요한 문제를 구체적으로 어떻게 해결했는지에 대해서만 이야기한다. 그렇기 때문에 인터뷰 때 회사에 아래와 같은 질문을 던져, 위와 같은 식으로 답을 하는 회사를 찾으면, ‘낚일’ 확률은 현저히 줄어든다.

“최근에 회사에서 데이터 분석을 통해 개선한 구체적인 문제가 있나요?” – 데이터 분석 잘한다는 말에 낚이지 않을 수 있는 단 하나의 질문

로켓펀치와 집무실을 만들고 있는 알리콘의 답은?

2021년 7월 11일 오늘, 내가 위와 같은 질문을 받았다면, 나는 이렇게 답을 했을 것이다.

인터넷 접속만 되면 누구나 쓸 수 있는 온라인 서비스와 다르게, 오프라인 서비스인 집무실은 유료 마케팅을 했을 때 지역적 한계가 명확하더라. 집무실이 아무리 좋은 서비스라고 생각해도, 아직 수도권에만 지점이 있는데 부산에 있는 사람이 쓸 수는 없는 것 아닌가?

우리는 우리가 가진 고객획득비용(UAC) 기준을 초과하지 않으면서도 가장 많은 수의 신규 고객을 획득할 수 있는 유료 마케팅 예산 범위를 알고 싶어, 일 예산을 2배까지 높였다가 순차적으로 줄이면서 지점당 최적값 ’n만 원/일’을 찾았다.

이제 나머지 마케팅 예산은 오가닉 및 바이럴 기반 고객 획득 전략에 투여할 계획이다.

이 답에는 그 어떤 분석 도구도, 그 어떤 분석 방법론도 언급되지 않는다. 우리는 우리가 가진 것들로 답을 찾는 것에만 집중했기 때문이다.

덧 – 이 글을 빌어 많은 현실적 제약을 이겨내고 마케팅 예산의 최적값을 찾아낸 이창훈, 양희우, 이정연, 백성흠 네 분께 특별한 감사를 드린다.

함께보면 좋은 글

‘그로스 해킹 – 성장의 시대를 위한 안내서’ 출간에 부쳐

그로스 해킹 – 성장의 시대를 위한 안내서

어느 순간부터 나는 ‘자신의 이론으로 현실까지 바꾼 사람들’을 참 좋아했다. 예를 들면 이런 사람들.

  • 존 메이너드 케인스 (John Maynard Keynes) : 세계 대공황의 영향이 아직 가시지 않은 1936년 <고용, 화폐, 이자에 관한 일반 이론(General Theory of Employment, Interest and Money)>을 통해 ‘현대 자본주의의 모습’을 완성.
  • 줄리어스 로버트 오펜하이머 (Julius Robert Oppenheimer) : 핵 물리학자로서 맨해튼 프로젝트를 완성.
  • 앨런 튜링 (Alan Turing) : 케임브리지 대학교 재학 중에 쓴 논문 <On Computable Numbers, with an Application to the Entscheidungsproblem>(1936)으로 튜링 머신과 노이만형 컴퓨터의 이론적 토대를 제시하고, 2차 세계 대전 중 독일군의 에니그마 암호를 해독하는 장치를 개발.
  • 왕필 (王弼) : 19세 정도에 ‘도덕경’과 ‘주역’의 ‘주(註)’를 쓴 후, 20살 정도에  위나라의 통치 철학을 완성하고, 23세에 요절.

어떤 위대한 업적이 순간의 운이 아니라, 일관된 생각을 통해 쌓아 올려진다는 것은 그 얼마나 아름답고 멋진 일인가?

집필을 시작한 후 어려운 순간도 있었지만, 결국 하나의 책을 마무리 할 수 있었던 가장 큰 동력은, ‘이론을 현실로 만든 자’가 되고픈 나의 욕망이었던 것 같다. 이제 나의 욕망을 완성하는 길은, 책에서 스스로 이야기 한 것들을 이 세상에 구체화 하는 것이다.

내가 나의 욕망에 부끄럽지 않은 미래를 만들어 가기를…

> 도서 링크 : https://goo.gl/wdojym

덧 1) 케인즈의 저작과 앨런 튜링의 논문 모두 1936년에 세상에 나왔다. 재미있는 사실이다.
덧 2) 왕필에 대한 이야기는 2016년 건명원 최진석 원장님의 도덕경 수업에서 자세히 배웠다.

[번역] 잔존율이 짱이다 (Retention is King)

어쩔 수 없는 공대 출신이라 그런지, 수학적으로 뒷받침되는 주장들을 좋아한다. 며칠 전 Andrew Chen 블로그의 ‘Retention is King’이라는 글을 읽었는데, 내용도 정말 좋고 무엇보다 주장하는 바를 수식으로 증명한다!

배운 것 정리 겸, 간단히 요약해 보았다. 물론 가능하면 전문을 읽어보실 것을 추천.


잔존율이 짱이다 (Retention is King)

– 많은 회사들이 새 사용자를 획득하는 방법에 대해서 궁금해 하는데, 더 중요한 것은 이미 획득한 사용자를 유지하는 것이다. 이미 획득한 사용자수를 유지하는 것이 전체 사용자 수를 최대화 하는데 훨씬 더 큰 영향을 미치기 때문이다.

새 사용자를 얻는 중요한 요소인 입소문 효과(virality)는 필연적으로 서비스 초기에 제일 좋았다가 점점 나빠진다. 사람들은 새로운 것을 소문내기 마련인데, 시간이 지날수록 사용자들은 이미 우리 서비스를 당연한 것으로 생각하게 되므로 더 이상 떠들지 않게 된다. 그리고 기존 사용자가 누군가에게 우리 서비스에 알리려고 해도, 그 대상이 이미 우리 서비스를 사용하고 있을 가능성이 점점 높아지기 때문이다.

사용자의 잔존율(Retention)은 획득된 사용자 숫자에 지속적으로 영향을 미치므로, 결국 일정 시간이 지난 후 전체 사용자 수는, 초창기보다 효율이 떨어진 입소문 효과보다 잔존율에 더 큰 영향을 받는다.

<이것을 수학적으로 뒷받침 하는, 어려워 보이지만 사실은 간단한 수식>

→ Virality(=v_i)가 계속 작아지므로, 최종 사용자 수에 가장 큰 영향을 미치는 것은 Retention(=r_n)

– 따라서, 잔존율이 충분히 개선되기 전까지는 입소문 효과를 개선하는데 집중하면 안 된다.

– 잔존율이 낮아도, 입소문 효과가 크면 초창기에는 사용자가 빠르게 증가하는 것처럼 보이지만 금방 한계를 드러낸다. ‘Viddy’가 그런 사례에 해당하는데, 성장 곡선이 정점을 찍은 후 금새 망가졌다.

VIDDY

– 시뮬레이션 : 입소문 효과와 잔존율이 똑같은 상태를 기준으로, 입소문 효과가 20% 개선된 것보다, 잔존율이 20% 개선된 것이 최종적으로 더 많은 사용자를 보유하고 있는 것을 확인할 수 있다.


우리 회사에서 만들고 있는 로켓펀치는 Bounce Rate(=서비스에 접근한 사용자가 사이트 내 다른 페이지로 이동하지 않고 빠져나가는 비율)가, 클럽믹스는 2주차 잔존율이 문제라서 이를 해결하는데 개발력을 집중하고 있다. 현재까지 해본 시도들은 그로스해킹 사례 공유에서 일부 정리 되어 있지만, 추후 좀 더 실험을 해보고 공유할 생각.

추가적으로 비슷한 주제로 스마일 패밀리 김동신 대표님이 쓰신 글 ‘스타트업 메트릭(Metrics) – 우리 잘하고 있는거 맞어?‘ 도 추천한다. (무려 3년전에 작성)

——
그로스 해킹에 대해 국내 최초로 과학적으로 접근을 시도한 책 ‘그로스 해킹 – 성장의 시대를 위한 안내서‘가 출간 되었습니다. (도서 링크 : https://goo.gl/wdojym)

‘Growth Hacking(그로스 해킹)’이란?

최근에 한국에서도 Growth Hacking이 조금씩 이야기 되고 있는 것 같아, 그 동안 Pristones에서 활용했던 내용을 정리했습니다. 우리가 이 분야의 대단한 전문가라고 생각하지는 않지만, Growth Hacking을 실제 서비스에 적용해 가고 있는 팀의 관점이 도움 되는 부분이 분명 있을 것이라고 생각합니다. 아래에 정리된 내용에 추가나 수정이 필요한 사항을 contact@pristones.com으로 보내주시면 반영 하도록 하겠습니다.

‘Growth Hacking’이 뭐야?

2012년 10월 Dropbox는 Space Race라는 이벤트를 시행합니다. 새 사용자가 학교 이 메일 주소를 인증하고 Dropbox를 설치하면, 참여자 수에 따라 포인트를 지급하고, 포인트가 일정 수준에 도달하면 그 학교의 모든 참여자들에게 더 큰 저장 공간을 2년 동안 제공하는 이벤트였습니다.

Dropbox Space Race

학교 이메일 주소를 가지고 있는 많은 사용자들은 당연히 친구들에게 참여를 권유했고, 이벤트는 성황리에 종료 되었습니다. 이 이벤트는 몇 가지 측면에서 전통적인 마케팅 전략과 큰 차이가 있습니다.

  1. 마케팅 비용을 TV 광고 등을 통해 직접적으로 집행하는 방식(=ATL)이 아니었음
  2. 기존 서비스 사용자들을 철저히 분석하여 자발적이고 적극적인 참여를 이끌어냄
  3. 전략의 실행에 ‘학교 이메일 인증, 활동 포인트 계산’ 같은 개발적인 뒷받침이 필요했음

이렇듯 전통적인 마케팅 기법과 달리, 우리 서비스를 철저하게 분석하여 창의적인 전략을 수립하고, 기술적으로 그 실행을 뒷받침 하여 급격한 성장을 노리는 통합적인 마케팅 활동이 바로 ‘Growth Hacking’입니다.

Growth hacking is a marketing technique developed by technology startups which uses creativity, analytical thinking, and social metrics to sell products and gain exposure. (그로스 해킹이란 제품 판매와 노출을 목적으로 기술 벤처 기업에 의해 개발 된 창의성과 분석적 사고, 소셜 분석을 활용하는 마케팅 기법이다.) – Wikipedia

 

Growth Hacking에 주목하게 된 계기

Pristones가 Growth Hacking에 본격적으로 관심을 가지게 된 계기는 지난 여름 중소기업진흥공단에서 후원한 실리콘밸리 연수 프로그램으로 거슬러 올라갑니다. 연수 중에 우연히 LinkedIn의 전 기술 부문 부사장이었던 Bill Crane님을 만나게 됩니다. 그는 한 시간 반 남짓한 미팅에서 그와 그의 팀이 LinkedIn을 수억 명이 쓰는 서비스로 만들기 위해 진행 했던 다양한 시도들을 알려 주었습니다.

대표적으로 기억이 나는 것을 꼽자면…

1) ‘충실한 프로필 정보’를 채우게 하기 위한 실험

  • 텅 빈 프로필 정보는 서비스의 본질을 위협하는 매우 심각한 문제였음
  • 프로필 정보 기입에 대한 ‘Progress Bar’를 도입해서 프로필 정보 입력 수준을 비약적으로 끌어올릴 수 있었음

2) 이메일 개봉율을 높이기 위한 실험

  • 스마트폰이 아직 성숙하지 않았던 LinkedIn 초창기, 이메일은 사용자의 재방문을 유도하기 위한 가장 중요한 도구였음
  • 이 개봉률을 높이기 위해 다양한 리서치를 진행했는데, 사용자가 메일을 연 시점에 메일함의 3~4번째 이내에 위치하고 있을 경우 가장 개봉률이 좋다는 결과를 도출
  • 이후 사용자 별로 이메일 링크를 클릭해서 들어오는 시간(=이메일을 주로 확인하는 시간)을 측정한 그 사람이 이메일을 확인하는 평균 시각 30분 전에 메일을 발송하여 Stack의 상단에 메일이 위치하도록 조정

Bill Crane은 이런 다양한 시도를 통해 링크드인은 J 커브 성장을 이루었다고 하면서, 저에게도 이런 성장 방법론에 대한 프로세스를 구축해야 한다는 것을 주문했습니다. ‘현재 링크드인은 백 개 이상의 A/B 테스트를 동시에, 연속적으로 테스트 할 수 있는 인프라를 구축하고 있다는 말’과 함께요.

저희 팀은 이 만남을 통해 한정된 예산으로 빠른 성장을 목표로 해야만 하는 스타트업에게 ‘Growth Hacking’은 선택이 아닌 필수라는 것을 깨닫고, 서비스에 하나씩 적용하기 시작 했습니다.

Growth Hacking의 대표적 사례들

대표적으로 언급되는 몇 가지 ‘Growth Hacking’ 사례를 더 살펴보면 이 개념에 대해서 쉽게 이해할 수 있습니다.

Hotmail

1996년 같은 직장 동료였던 Sabeer Bhatia와 Jack Smith는 Javasoft라는 회사를 준비하고 있었습니다. 그런데 그들은 직장 상사가 그들의 이메일을 보는 게 두려워서 웹 기반의 이메일 시스템을 만들게 되고 이것이 바로 Hotmail의 시초가 됩니다. Hotmail의 초기 마케팅 전략은 전통적인 거리 광고판이나 라디오 광고에 머무르고 있었는데, 그들의 투자가였던 Timothy Draper는 좀 더 나은 아이디어를 가지고 있었습니다. ‘타파웨어’의 입소문 마케팅에 착안하여, 사용자들의 이메일 하단에 ‘PS: I love you. Get your free e-mail at Hotmail(추신: 사랑해요. Hotmail에서 당신의 무료 이메일을 가져보세요.)’을 삽입하자고 제안합니다.

이 전략을 시행한 후 하루 3,000명 정도의 신규 사용자가 있던 Hotmail은 6개월 후 1백만 사용자를 모았고, 그로부터 5주 후 2백만 사용자를 모았습니다. 1년 반 후 MS가 핫메일을 인수 했을 때 전체 사용자 수는 1,200만 명에 달했습니다. (당시 인터넷 사용자는 7,000만 명뿐이었습니다.)

Airbnb

빈방 공유 서비스인 Airbnb가 아직 사용자가 별로 없던 초창기, Airbnb에서는 자사의 사이트에 등록된 빈방 정보를 Craigslist에도 동시에 쉽게 올릴 수 있는 방법을 빈방 주인들에게 제공합니다. (http://www.quora.com/Airbnb/How-does-Airbnb-automatically-post-on-Craigslist) Craigslist에서 방 정보에 관심을 가진 사람들은 Airbnb로 이동하게 되므로 Airbnb는 큰 돈을 들이지 않고 신규 사용자들을 모을 수 있게 됩니다. 여기서 중요한 점은 Craigslist가 실제로 이런 API를 제공하지 않는다는 것입니다. 즉, Airbnb에서는 개발 자원을 투여해서 이를 가능하게 만들었다는 것인데, 마케팅 전략에 대한 분석과 실행이 마케팅 분야에 개발 분야의 협력으로 이루어졌다는 점에서 좋은 Growth Hacking의 사례로 꼽히고 있습니다.

Growth Hacking의 첫 번째 글로 용어의 정의와 대표적 사례에 대해서 정리해 보았습니다. 다음 글에서는 왜 뜨고 있는지, 그리고 왜 하필이면 미국에서 이런 개념이 먼저 발달 했는지 한번 정리해 보겠습니다.

——
[2017.01 업데이트] 그로스 해킹에 대해 국내 최초로 과학적으로 접근을 시도한 책 ‘그로스 해킹 – 성장의 시대를 위한 안내서‘가 출간 되었습니다. (도서 링크 : https://goo.gl/wdojym)