문제정의 : 제품제공자(숙박업소주)가 온보딩 과정에서 대부분 건너뛰기 선택지를 고른다. 목적 : 사용자의 [둘러보기] 클릭율 증가 가설 : 1단계 - 팝업 창 버튼이 많기 때문에 [건너뛰기] 버튼 삭제를 삭제하면 [둘러보기]버튼 클릭율이 증가할 것이다. 2단계 - 팝업 문구를 제품에 대한 설명이 아닌 사용자 중심 문구로 수정한다면 [둘러보기] 클릭율이 증가할 것이다.
테스트 형식 : 1단계 - [둘러보기] , [스킵], [닫기] 3개의 버튼으로 구성되어 있는 버튼 中 [스킵] 버튼 삭제 2단계 - 제품 설명 문구 → 사용자 중심 문구 수정
결과 : 1단계 - [둘러보기] 진행율 13% 증가 2단계 - [둘러보기] 진행율 50% 증가
인사이트 : - 목적에 도달하기 위해 하나만의 A/B테스트가 아닌 다양한 방안을 테스트할 수 있다. - 제품의 기능에 대한 설명보다 사용자가 제품을 통해 얻을 수 있는 것들에 대해 알려주면 사용자의 긍정적인 행동을 유도할 수 있다.
Esty의 무한 스크롤 A/B테스트는 찾아본 사례 中 부정적인 영향을 미친 사례이다. 무한스크롤은 많은 장점이 있는 기능이지만 장점을 이끌어내지 못한 사례이기에 인상 깊다.
목적 : 사용자의 니즈를 무한스크롤을 통해 충족→수익 증대
가설 : - 사용자는 페이지당 더 많은 결과를 원할 것이다. - 사용자는 더 빠른 결과를 원할 것이다. 사용자의 니즈 두 가지를 충족시키는 무한스크롤 기능으로 개선한다면 수익이 증가할 것이다.
테스트 형식 : 기존 페이지네이션 → 무한스크롤 형식으로 페이지를 개선
결과 :제품조회율 -50% / 제품 클릭율 약 -11%/ 제품 구매율 -22.6%
인사이트 : - 보편적으로 긍정적 영향을 가져와주던 A/B테스트가 항상 긍정적인 영향을 주는 것은 아니다. - 사용자에 대한 이해가 바탕이 되었을 때 긍정적인 결과를 가져올 수 있는 A/B테스트를 할 수 있다. - 하나의 기능을 개선하기 위해선 기능을 위한 기능들을 추가하거나 함께 개선해야 더 좋은 효과가 나타날 것이다. ex) 페이지네이션 → 무한스크롤 전환 시 바로 찾을 수 있는 [장바구니] . 사용자가 어디에 있는지 알 수 있는 [스크롤], 이전에 어떤 상품을 봤는지에 대한 [이전 상품 보기] 등을 추가했어야 한다. 출처 - https://danwin.com/2013/01/infinite-scroll-fail-etsy/
1. 위에서 얻은 인사이트에 따라 MVP 실행 후 상황에 따라 적용할 수 있는 다양한 방안의 A/B테스트를 진행하기 위함
2. A/B테스트의 가정이 MVP를 실행한 후 반응에 따라 개선해야 하는 상태로 설정했기 때문이다.
MVP 상황 분류
위의 표와 같이 MVP를 실행한 후 상황은 4가지로 분류된다.
상황 1 : 레이어팝업을 통한 승부예측 참여율 확산 / 영상광고 페이지 이탈율 ▲
상황 1은 MVP에 대한 사용자의 반응이 긍정적이지만 근본적인 목적인 사용자 이탈율이 더 증가하거나, 효과가 없는 상황으로 볼 수 있다. 즉, 목적을 달성하지 못한 상황이다. 이때 우선적으로 필요한 것은 정확한 이탈율 체크이다. 왜냐하면 승부예측 레이어팝업 프로세스에 이탈을 일으키는 요소가 2가지가 있기 때문이다. 첫 번째 이탈 요소는 비로그인 사용자들이 이동하는 로그인팝업 두 번째 이탈 요소는 승부예측 확인 팝업에서 이동하는 승부예측 페이지이다. ※ 상황 1시 대처방안 1) 2가지 이탈요소를 제외한 정확한 이탈율에 대한 데이터 수집 후 문제점 파악 2) 개선방안 도출 3) 개선방안 A/B테스트
상황 2 : 레이어팝업을 통한 승부예측 참여율 확산 / 영상광고 페이지 이탈율 ▼
상황 2는 MVP에 대한 사용자의 반응이 긍정적이며, 목적을 달성했기에 달성율에 따라 긍정적인 개선방안을 도출하여 A/B테스트를 진행하거나 A/B테스트에 쓸 인적자원과 시간을 다른 곳에 투자하여 더욱 효율적인 운영을 해야 한다고 생각한다.
상황 3 : 레이어팝업을 통한 승부예측 참여율 미미 / 영상광고 페이지 이탈율 ▲
상황 3은 MVP에 대한 사용자의 반응이 부정적이며 목적도 달성하지 못한 경우이다. ※ 상황 3시 대처방안 1) [가설 2 : 승부예측 레이어팝업 참여율이 높아진다면 영상광고 페이지 이탈율을 줄일 수 있을 것이다.] 설정 2) 승부예측 참여도를 높이기 위한 A/B테스트 기획 3) A/B테스트 진행
상황 4 : 레이어팝업을 통한 승부예측 참여율 미미 /영상광고 페이지 이탈율 ▼
상황 4는 MVP에 대한 사용자의 반응이 부정적이며 목적은 달성한 경우이다. 이때 승부예측 레이어팝업이 사용자에게 흥미를 이끌어 내 이탈율이 줄어드는 결과를 도출했다는 결과가 나올 수 있다. 그에 맞게 가설을 설정한 후 A/B테스트를 진행한다. ※ 상황 3시 대처방안 1) [가설 2 : 승부예측 레이어팝업 참여율이 높아진다면 영상광고 페이지 이탈율을 더욱 줄일 수 있을 것이다.] 설정 2) 승부예측 참여도를 높이기 위한 A/B테스트 기획 3) A/B테스트 진행
2) MVP A/B테스트 방안 리스트업
A/B테스트는 2가지 종류의 A/B테스트를 설계하려고 한다.
첫 번째 : 영상 광고 페이지 사용자 이탈율을 낮추기 위한 A/B테스트 방안 리스트업 (상황 1)
승부예측 확인 팝업 제거 (승부예측 확인 및 승부예측 페이지 유도 팝업)
MVP 노출 타겟 변경 (기존 - 전체 사용자 / 개선 - 로그인 사용자)
레이어 팝업 외 상호작용 비활성화 기능 제거 (광고 건너뛰기 후에도 레이어 팝업을 통해 승부예측 참여 가능)
두 번째 : MVP에 대한 사용자 참여율을 높이기 위한 A/B테스트 방안 리스트업(상황 3,4)
UI 개선 (가로의 팀 대립 ▶ 세로의 팀 대립)
팝업 내 문구 개선 (젬 무료제공 문구 ▶ 젬을 통해 얻을 수 있는 사용자 중심의 문구)
3) MVP A/B테스트 설계
3-1. 영상 광고 페이지 사용자 이탈율을 낮추기 위한 A/B테스트 (상황 1)
영상 광고 페이지 사용자 이탈율을 낮추기 위한 A/B테스트 (상황 1) 먼저 기존에 진행했던 데이터가 있을 것이기 때문에 비로그인 사용자의 로그인 전환 비율에 대한 데이터가 있다. 이에 따라 순도 높은 데이터를 수집하기 위해 타겟을 로그인 사용자로 축소한 후 무작위로 로그인 사용자를 2그룹으로 나눠 A/B 테스트를 진행한다.
테스트 형식 : 3가지 형식이지만 타겟변경을 토대로 A/B 테스트 진행 전제 : 타겟 변경 (로그인 사용자에게만 MVP노출) 1) 화면 비활성화 기능 제거 (광고 종료 후에도 참여 가능) 2) 프로세스 간소화 ( 승부예측 확인 팝업 제거)
가설 : 1) 화면 비활성화 기능 제거 화면 비활성화 기능과 함께 흐림 처리되는 UI는 사용자의 목적인 방송화면이 흐리게 나와 불편함을 느껴 이탈이 발생했을 것이며, 비활성화 기능과 흐림 처리를 제거함으로써 이탈율을 줄일 수 있을 것이다.
2) 프로세스 간소화 승부예측 확인 팝업에 현재 보유 젬을 사용자에게 보여주고, 승부예측 페이지로 유도하기 때문에 사용자가 승부예측 페이지에서의 활동 후 다시 돌아오지 않아 이탈율이 발생할 것이며, 승부예측 확인 팝업을 제거한다면 사용자의 영상광고 페이지 이탈율이 하락할 것이다.
목표 : MVP 참여율 유지,증가 및 사용자 이탈율 ▼
기간 : 23.05.12 ~ 23.05.21 (MSI기간) e스포츠의 메가이벤트이자 아프리카TV 승부예측 참여율이 가장 높은 시기인 MSI기간 동안 A/B테스트를 통해 많은 표본을 수집할 수 있으며 승부예측 종목(ex.카트라이더 리그와 MSI의 차이)에 따른 참여율의 차이를 줄일 수 있다.
타겟 : 로그인 사용자 2그룹 무작위로 로그인사용자를 A그룹과 B그룹으로 나눠 A/B테스트를 진행한 후 데이터를 수집한다.
측정 지표 : 메인 지표 - 영상 광고화면 MVP노출 시 사용자 이탈율 서브 지표 - 전체 사용자 이탈율, MVP참여율, 테스트기간 전체 승부예측 참여율
3-2. MVP에 대한 사용자 참여율을 높이기 위한 A/B테스트 방안 리스트업(상황 3,4)
MVP에 대한 사용자 참여율을 높이기 위한 A/B테스트 방안 리스트업(상황 3,4)
테스트 형식 : 2가지 형식의 A/B 테스트 진행 1) UI개선 (팀 간의 대립 가로 ▶ 세로) 2) 사용자 중심 문구 개선 (오늘의 승부예측을 진행해보세요 ▶승부예측하고 닌텐도 스위치 받으러가자!)
가설 : 1) UI개선 A/B테스트 사례조사를 통해 얻은 인사이트를 바탕으로 팀에 대한 정보를 왼쪽/오른쪽(가로)으로 나눈 것이 아닌 위/아래(세로)로 나눠 사용자가 한눈에 비교하기 쉬워지고, 각 팀의 표에 확인 버튼을 추가해 직관적으로 참여가 할 수 있도록 UI를 개선하면 참여자의 MVP 참여율이 증가할 것이다.
2) 사용자 중심 문구 개선 A/B테스트 사례조사를 통해 얻은 인사이트를 바탕으로 UI만 보더라도 승부예측인지 알 수 있었던 사용자에게 이미 알고 있던 사실을 알려주는 문구를 승부예측을 통해 사용자가 얻을 수 있는 것에 대한 문구로 개선함으로써 사용자의 관심을 이끌고 사용자의 MVP참여율이 증가할 것이다.
목표 : MVP 참여율증가 및 사용자 이탈율▼
기간 : 23.05.12 ~ 23.05.21 (MSI기간) e스포츠의 메가이벤트이자 아프리카TV 승부예측 참여율이 가장 높은 시기인 MSI기간 동안 A/B테스트를 통해 많은 표본을 수집할 수 있으며 승부예측 종목(ex.카트라이더 리그와 MSI의 차이)에 따른 참여율의 차이를 줄일 수 있다.
타겟 : 무작위 사용자 2그룹 무작위로 사용자를 A그룹과 B그룹으로 나눠 A/B테스트를 진행한 후 데이터를 수집한다.
측정 지표 : 메인 지표 - 사용자 MVP 참여율 서브 지표 - 영상 광고화면 MVP노출시 사용자 이탈율
