코호트 분석으로 데이터에서 올바른 인사이트 얻기
넓은 범위에서 높은 수준의 데이터를 분석하면 광범위한 개요를 파악할 수 있으리라고 흔히 오해하곤 합니다. 하지만 현실에서는 그 반대의 경우가 종종 발생합니다. 데이터가 너무 광범위하면 오히려 데이터의 함정에 빠질 수 있습니다. 데이터의 범위를 바르게 규정하는 동시에 적절히 분할하고 정렬해야 효과적인 데이터와 그렇지 않은 데이터를 확인하는 데 도움이 됩니다. 따라서 가장 중요한 일은 데이터를 올바른 맥락에서 바라보는 능력일 것입니다.
불필요한 요소 제거
맥락은 다양한 요소 다수를 동시에 의미할 수 있으므로, 맥락만을 따로 떼어내기 복잡한 경우가 존재합니다. 통계 수업에서 가장 먼저 배우는 내용은 결코 데이터를 통해 인과관계를 파악할 수는 없으며, 상관관계만을 확인할 수 있다는 점입니다. 그리고 상관관계에 관해서라면, 어떤 강력한 상관관계 한 가지가 있음을 입증할 수 있을 때까지 주변의 불필요한 요소를 최대한 제거해야 합니다. 데이터에서 노이즈를 완전히 제거할 수는 없지만, 대부분의 불필요한 요소를 제거하는 필터를 선택하면 더욱 확실한 인사이트를 얻게 됩니다.
다음은 ‘사과 대 사과’라는 실제 사례입니다. 12개들이 사과 한 팩을 소비하는 가족의 습관을 비교하는 것이 목표입니다. ‘가족’은 4인 이상의 가족이라고 규정하고, 똑같은 규모의 구매품(사과 12개)을 소비하는 습관을 비교하겠습니다.
A씨네 가족은 일요일에 12개들이 사과를 삽니다.
B씨네 가족은 수요일에 12개들이 사과를 삽니다.
분류되지 않은 데이터를 살펴보면 토요일에 가장 소비량이 많았던 것처럼 보이지만, 그렇지 않으면 데이터를 이해하기 어렵습니다. 구매 요일을 기준으로 데이터를 분류하면 추세를 쉽게 확인할 수 있습니다. A씨네 가족은 사과를 천천히 그러나 꽤 꾸준한 속도로 소비하지만, 3일째부터는 소비 수준에 변동이 보이지 않으면서 사과에 물린 것처럼 보입니다. 반면에 B씨네 가족은 처음에는 사과를 사다 놓아도 시큰둥하다가 3일째와 4일째에 소비량이 급증하는데, 아마 훌륭한 애플 파이 레시피라도 발견한 모양입니다.
이 문제를 애드 테크 세계로 다시 가져와 ARPU 예제를 다시 살펴봅시다. 하루의 ARPU를 다음날의 ARPU와 단순 비교하는 작업만으로는 충분치 않습니다. 모든 오염 요소를 확인하고 걸러내야 합니다. 그래서 각 주의 비슷한 요일끼리 ARPU를 비교하고 사용자 수, 활동, 더 많은 구매를 유도할 수 있던 프로모션이나 오퍼가 있었는지 여부를 비교해야 합니다. KPI를 분석할 때는 병렬 데이터를 사용해 데이터를 나란히 놓고 비교하기를 선호하실지도 모릅니다. 즉, 사과 대 사과의 비교처럼 말입니다.
코호트 분석을 통한 문제 해결
KPI 뿐만 아니라 전략의 성공 여부를 나란히 평가할 때 필요한 도구가 바로 코호트 분석입니다.
코호트 분석: 공통적인 특성을 지닌 사용자를 그룹으로 묶은 후, 각 그룹에 대한 특정 KPI를 다양한 기간에 걸쳐 측정 및 분석하는 방법입니다.
코호트는 단순히 KPI 분석만을 목적으로 하지 않습니다. 코호트 분석을 통해 숨겨진 추이를 규명함으로써 라이브 캠페인을 최적화하고, 인게이지먼트와 수익을 증대할 수 있는 변경 사항을 실시간으로 적용하는데 필요한 인사이트를 얻을 수 있습니다.
코호트 시작하기
처음에는 다소 골치 아파 보일 수도 있지만, 몇 가지 간단한 단계만 거치면 곧 익숙해질 수 있습니다.
쿼리 설정
가장 먼저 무엇을 알아내고자 하는지 정해야 합니다. KPI와 성공 지표를 정의해야 올바른 방향으로 나아갈 수 있기 때문입니다. 미디어 소스 비교를 위해 캠페인을 동일선상에 두고 성과를 측정하시나요? 아니면 한 캠페인의 성공 여부를 다양한 지역별로 비교하며 평가하세요? 그리고 캠페인의 성공 여부를 어떻게 정의하시나요? 어떤 질문을 하고 있는 것인지, 답해야 할 지표가 무엇인지 구체적인 아이디어가 떠오른다면, 이미 절반은 해낸 셈입니다.
다음은 코호트 분석 관련 질문에 편리하게 사용할 수 있는 공식입니다.
특정 기간의 행동과 지표를 비교하기 위해 유사한 특성을 지닌 사용자를 그룹으로 분류합니다.
코호트 분석에서 선택할 수 있는 필터와 그룹화의 예
특성은 결과를 측정하는 기준입니다. KPI는 분석할 실제 지표이며, 기간은 측정을 수행하는 기간입니다.
예를 들어, 다양한 국가에서 어떤 캠페인의 성공 여부를 평가하려고 하는 상황을 가정해보겠습니다. 사용자가 앱을 설치한 날, 최초 설치한 다음날, 며칠이 지난 후의 사용자 행동을 살펴보고자 합니다. 사용자들이 앱을 설치한 날을 정렬하면 플레잉 필드의 수준을 측정해 사용자 행동 및 앱과의 인터랙션을 분석할 수 있습니다. 모든 사용자에 대해 이 지표를 정렬하면 마치 위의 사과 대 사과 비교의 예처럼 같은 유형의 비교 대상을 놓고 효과적으로 비교할 수 있습니다. 대시보드에서 검사하고 싶은 코호트를 정의할 때, 우리는 적절한 앱을 선택합니다. 아래의 예에서는 국가별로 코호트를 그룹화하고 2019년 4월 1일부터 4월 7일의 한 주를 선택해보겠습니다. 최소 코호트 크기로 10명의 사용자를 설정하고 알맞은 캠페인인 spring_sale_april 캠페인에 대해 필터를 추가합니다. 그러면 설정창이 다음과 같이 보일 것입니다.
실행할 준비가 되면 적용 버튼을 클릭해 쿼리를 실행합니다.
결과 분석
데이터 뷰는 사전에 정의한 인앱 이벤트에 의해 결정됩니다. 이번 예시에서는 사전 정의된 두 가지 지표인 ‘사용자당 평균 세션 수’와 ‘사용자당 평균 수익’을 살펴보겠습니다.
사용자당 평균 세션 수를 살펴보면 다음과 같습니다.
언뜻 보면 봄 캠페인이 러시아(RU)에서 유난히 탁월한 성과를 올리고 있고, 인도네시아(ID)에서는 매우 부진한 것처럼 보입니다. 그러나 데이터의 테이블 뷰를 살펴보면, 30일째에 러시아에서 사용자당 평균 세션 수가 크게 증가하는 와중에 인도(IN)와 중국(CN)에서도 미미하나마 점진적으로 성장 중임을 알 수 있습니다. 코호트 데이터는 기본적으로 누적 데이터라는 점에 주목해야 합니다.
하지만 이 데이터가 전체적인 그림을 보여주는 것은 아닙니다. 우리는 시간이 경과함에 따라 계속 야금야금 증가하는 다른 국가에 비해 러시아에서 인게이지먼트가 유독 높다는 사실을 알 수 있습니다. 그게 과연 이 캠페인이 러시아에서 가장 성공적이었음을 뜻하는 걸까요?
아마 그렇지 않을 겁니다. 데이터 뷰를 사용자당 평균 수익으로 전환해보면 완전히 다른 이야기가 펼쳐집니다. 러시아 사용자는 캠페인에서는 적극성을 보이지만 지갑을 꼭 닫고 열지 않습니다. 하지만 중국 사용자는 앱을 방문할 때마다 평균적으로 높은 지출 행태를 보입니다. 따라서 우리는 러시아 시장에서는 캠페인을 최적화하여 구매까지 완료하도록 유도할 여지(예: 스페셜 오퍼, 쿠폰, 세일 행사 등)가 있다는 결론을 내릴 수 있습니다. 중국 사용자의 경우 대략 4일째부터 지출이 정체되는 편이므로, 그 무렵에 리타게팅 캠페인 일정을 세울 수 있습니다. 인도 사용자는 지출이 꾸준히 증가하는 추세를 보이는데, 바로 이것이 정확히 우리가 추구하는 모습입니다.
이처럼 코호트 분석을 통한 2가지 통찰로부터 드러나는 또 하나의 흥미로운 현상은 인도네시아 사용자들의 특이한 패턴입니다. 249건이라는 상당한 설치 수를 기록했음에도, 앱이 실행되지 않고 구매도 전혀 일어나지 않았기 때문입니다. 이는 프로드 때문일 가능성이 존재하므로 Protect360 대시보드를 통해 더욱 심층적인 분석이 필요합니다.
이제 여러분의 인사이트를 활용하세요
코호트 분석의 기초를 설명해 드렸으니, 이제는 대시보드로 들어오는 엄청난 양의 데이터를 이해하는 일이 조금은 수월하게 느껴지실 겁니다. 코호트 분석 리포트의 자매 데이터인 리텐션 데이터도 확인하여 비슷한 로직으로 각 앱의 유저 잔존율을 살펴보세요.
