🤘

실무형 데이터 분석 스터디 과제물 (1)

스터디원들의 찐한 반응

과분할 정도로 제 출한 과제물들이 많은 지지를 받았습니다.
•
데이터 지표에 대한 과제 제출형 스터디로 일반 스터디원으로 참여
•
전체 8회 스터디 중 5회 이건찐이다(추천 과제물)에 선정됨 *스터디 참여인원 400여 명, 이건찐이다 총 게시물 수 54개 중 저의 과제물이 5개 선정됨 *운영진을 도와줄 서포터 제안이 있었으나 넥스트레벨 스터디를 함께 진행 중이어서 정중히 거절함

미션 내용

미션 공지 내용

나의 1주차 미션

•
슬랙 링크
•
피드백 피터_여기어때_CPO님  - 존경합니다 ㅎㅎ

질문 #1 나의 프로덕트에서 해결하려고 하는 고객의 PainPoint가 무엇인가요?

1주차 답변. 쿠팡 로켓프레시의 상품평이 길어서 읽기 힘들어 구매전환을 방해한다.

쿠팡 로켓프레시 상품의 상품평의 기본값 '베스트순'이 사용자에게 도움이 되는 평보다는 사진이 많고 내용이 긴 것들이 먼저 나와 상품평을 읽기가 힘들다.(라는 생각이 든다) 그로 인해 상품평 탐색에 시간을 많이 쓰게 되어 상품 구매전환율에 안 좋은 영향을 주고 있다. 쇼핑에도 에너지와 시간이 들어가는데 읽기 안좋은 상품평들이 먼저 나오면 상당히 많은 에너지와 시간을 소모해버린다. 이를 Pain Point로 하고 개선을 해보자.
*물론 쿠팡 로켓프레시 담당자도 아니고 가상으로 해볼 뿐 실제 쿠팡에 적용은 불가능하다.
*쿠팡은 택배 배송상품, 신선식품 등 여러 카테고리의 상품을 판매하지만 본 글에서는 로켓프레시로 한정하여 로켓프레시만을 위한 상품평에 대해 살펴본다.
저는 미션에 적용할 회사 프로덕트가 없어서 자주 사용하는 쿠팡 로켓프레시의 생물(계란 같은) 상품에 대한 상품평을 대상으로 했습니다. 어느 정도 가정이 있으니 감안하시고 보시면 좋을 거 같습니다. 물론 쿠팡엔 이미 제가 생각한 것들이 적용되어 있을 수도 있습니다.
이번 8주차 미션은 1주차 미션을 다시 하되 질문 자체에 연연하기보단 배운 걸 활용하여 의미 있는 결론을 만들기 위해 완전히 새롭게 해보려고 합니다. 질문 자체는 일종의 트리거라고 보시면 될 거 같습니다.

Re:제로부터 시작하는 Pain Point 검토

먼저 로켓프레시 상품평 길이에 대한 Pain Point가 제대로 정의되었는지 확인을 진행한다. 로켓프레시 상품평에 대한 특성을 알아보고 선정한 Pain Point가 어떤 영향을 미치는지, 효과적인 Pain Point인지 확인한다.

쿠팡 상품평의 구성부터 간단히 알아보자

쿠팡 상품평의 구성에 모바일과 데스크톱에 차이가 있다.
•
모바일
◦
요약, 목록 정렬 및 필터 도구, 상품평 상세보기
•
데스크톱 웹
◦
요약, 긍정 상품평 BEST, 비판 상품평 BEST, 목록 정렬 및 필터 도구, 상품평 상세보기

모바일 상품평의 구성

무한 스크롤 형태로 페이징 없이 제공되며 긍정 상품평 BEST, 비판 상품평 BEST이 없다. 스마트 필터는 별점 수 별로 상품평을 필터링하여 보는 기능이 있다.
모바일 상품평 상단
모바일 상품평 상세보기

데스크톱 웹 상품평의 구성

모바일과 큰 구성의 차이는 긍정, 비판 상품평 BEST가 있는 정도이고 전체적으로 정보의 양이 많아졌다.
모바일에 없는 긍정, 비판 상품평 BEST가 있다.

쿠팡 상품평 구성의 특징

쿠팡은 별점을 가장 중요하게 보여주고 있으며 상품평 평가 기능 ‘도움이 돼요, 도움이 안 돼요’ 버튼이 매우 강조되어 있다.
요약은
순서대로 별점, 첨부 이미지와 영상, 간단 평가 수치가 보인다. 별점이 먼저 나오며 큰 크기와 잘 보이는 노란색으로 강조되어 있고 이미지로 정보를 즉각적으로 주며 간단 평가가 수치화되어 있어 빠르게 상품평 내용을 요약 판단할 수 있도록 도와준다. 물론 별점의 신뢰도를 믿을지 말지는 사용자의 몫이다.
상품평 상세보기는
리뷰어 배지, 별점이 잘 보이며 이미지로 시각적 정보를 주고 상품평에 제목이 있어 리뷰 텍스트를 다 읽지 않더라도 대략의 정보를 알 수 있다. 도움됨 숫자가 상품평의 가치를 잘 알려준다. 도움이 돼요, 도움이 안 돼요 버튼을 매우 강조하여 평가를 쉽게 해 놨다.
모바일, 데스크톱에서 차이는
긍정 상품평 BEST, 비판 상품평 BEST가 데스크톱에만 있다. 긍정 왼쪽, 비판 오른쪽 구성으로 한 화면에 밸런스 있게 보여주면서도 긍정을 먼저 보여줘서 부정적인 인상을 덜 가지도록 하고 있다. 모바일에 없는 이유를 잠깐 생각해보면, 화면의 제약으로 상품평을 하나씩 보게 되어 부정적인 인상이 다소 강해질 수 있으니 모바일에서는 기능이 제외된 것 아닌가 추측해본다.
긍정 상품평 BEST에 나오는 상품평이 베스트순 최상위 상품평과 다른 이유는?
베스트순 최상위와 긍정 상품평 BEST에 같은 상품평이 나온다면 중복이기에 다를 필요가 있었고 따라서 둘의 선별 기준이 다른 걸로 보인다. 1차 데이터 분석으로 추측하건대 도움 수가 많은 순으로 정렬하고 상위 몇 건 중 리뷰어 배지가 높은 레벨인 사람의 것이 나오는 것 같다. (확인 결과 도움 수가 가장 많은 사람이 나오진 않는다.)

쿠팡 로켓프레시 상품평의 목적은 무엇일까?

잠깐! 일반적인 쇼핑몰에서 상품평은 고객에게 어떤 의미일까?
상품평은 상품의 실질적인 정보를 알려주고 상품정보의 신뢰 정도를 알 수 있게 해 준다.
•
상품 상세정보에는 없는 정보를 제공한다.
◦
상품의 실질적인 품질
▪
농수산물은 수확시기에 따라 질이 다름
◦
상품의 단점
◦
상품의 활용도
•
신뢰도를 보여준다.
◦
상품평의 수로 판매량을 짐작
▪
많이 팔리면 신뢰도 상승
◦
별점으로 품질을 가늠
•
판매자의 대응을 통한 신뢰도를 보여준다.
◦
믿을 만 한지, 사람들이 궁금해하는 것에 잘 응대하는지 본다.
◦
단. 쿠팡은 판매자가 리뷰에 대응하지 않는다.
쿠팡에 로켓프레시에 있어서 상품평의 목적은 무엇일까?
다양한 실질 정보를 제공하며 고객의 시간을 아껴 로켓프레시 전체의 매출을 증대시킨다.
•
매출 증대
◦
상품평으로 구매에 확신을 준다면 구매 전환율이 좋아질 수 있다.
•
해당 상품의 구매/이탈까지의 전환시간 단축
◦
전환시간이 줄어들면 고객의 불필요한 시간 낭비를 막을 수 있고 그만큼 다른 상품을 더 살펴볼 수 있는 여력을 줘 아예 서비스를 이탈해버릴 가능성이 줄어든다.
◦
심리적으로 상품 하나의 상세보기에서 고민하다가 다른 상품으로 넘어가면 고민에 사용한 시간 감각이 다소 리셋됨이 느껴지기도 한다. 상품 1개를 1시간 동안 보기는 힘들지만 상품 100개를 1시간 동안 보는 건 어렵지 않다.
•
저질 상품, 경쟁력이 낮은 상품의 자연 도태 유도
◦
상품평이 부정적이거나 적을 경우 상품은 덜 팔리고 덜 팔리는 만큼 고객에게 상품의 노출이 줄어들어 더욱 덜 팔리게 되고 추후 판매 중단될 가능성도 높아진다. 이렇게 되면 좋은 품질의 상품만 남아있게 되는 효과가 생긴다.

로켓프레시 상품평 관련 매출 Metric Hierarchy

로켓프레시 상품평과 관련한 매출의 구조를 그려보면 매출과 상품평의 관계를 알 수 있고 Pain Point에 대한 실마리가 있을 수도 있다. 해보자.
이대로만 보면 상품평 PV를 늘리면 상품평 관련 매출이 증가된다. (무한히 증가하진 않겠지만)
상품평의 체류시간이 매출에 영향을 주는지 이 Metric 만으론 알기 어렵다. 단지 상품평 PV가 매출에 영향을 준다는 정도만 판단 가능하다.

로켓프레시 상품평의 길이가 무엇에 영향을 주는가?

막연한 생각들을 정리해서 가정은 가능하겠지만 진짜 확인은 내가 운영하는 서비스가 아니어서 매우 힘든 부분이었다. 나는 큰 마음을 먹고...

 상품 하나를 정해 상품평을 크롤링하고 가공하여 데이터 분석을 진행하기로 했다.

쿠팡이 상품평 전체를 보여주지 않는 한계로 상품 하나의 상품평 1000개를 데이터로 사용했기에 편향될 가능성이 있다. 과제 제출 시간 관계상 다른 상품의 데이터를 더 추가하진 않았다. 상품은 ‘곰곰 무항생제 신선한 대란’ 기준으로 진행했다. 로켓프레시 농수산물 중 가장 많은 상품평을 지닌 상품이어서 선정했다. 통계적인 방법을 제대로 적용했을지 경험이 부족하여 확신이 서진 않는다. 그래도 뭐든 처음은 있으니 도전해보았다.

상품평 페이지에서 의미 있는 데이터를 뽑고 데이터 수집과 전처리를 진행했다.

•
별점
•
배지(리뷰어의 등급)
•
첨부 이미지 수
•
리뷰 텍스트
•
리뷰 텍스트 수
•
도움됨 수 ← 주목
가지고 있는 데이터로는 어떤 사용자가 상품평을 얼마나 몇 초나 보고 구매를 했는지 안 했는지는 알 수는 없다.
하지만 다행히 사용자들이 상품평이 마음에 들 때 ‘도움이 돼요’ 버튼을 눌러 평가하고 있다. 매우 적극적이고 직접적인 상품평 평가 데이터라 도움된 수를 활용하기로 한다.

상품평의 길이 차이가 도움이 돼요 수에 영향을 줬을까?

귀무가설 상품평의 길이는 상품평 도움됨 수에 영향을 줄 것이다. 둘의 상관관계가 강할 것이다. 대립가설 상품평의 길이는 상품평 도움됨 수에 영향을 미치지 않을 것이다. 둘의 상관관계가 약할 것이다. 판단 기준 - 관련이 없거나, 짧을수록 좋아야 상품평 목록 정렬순서 변경에 문제가 없다. - 상품평이 길수록 도움됨 수가 많을 경우 Pain Point가 잘못되었으니 다시 설정해야 한다.
자 이제 귀무가설을 증명하는 여행이 시작되었다.

도움됨 수와 상품평 글자 수의 상관관계를 시각화한다.

*도움됨 수 3까지가 1번 영역에 많아 뭉치는 바람에 가시성을 떨어트려 도움된 수는 4부터로 했으며 몇 개의 Outlier(이상치)를 제거했다.
X축 상품평 글자 수, Y축 도움됨 수
상당히 재미있는 것 같으면서 없는 듯한 그림인데... 눈을 부릅뜨고 쳐다봤다. 계속 봤다.
•
상단과 오른쪽 바 차트를 보면 X, Y 모두 0 근처로 치우쳐있고 테일이 긴 것을 알 수 있다.
◦
통계적 수치로 이 차트 자체가 의미 있는지 검토해보자. 즉 얼마나 한 곳에 군집되어 정규분포(=종모양)의 형태를 띄고있는지 정도를 알아봤다.
▪
왜도 값: 도움됨 수 2.6, 글자 수 1.3 수준으로 정규분포와는 멀다. *왜도란? 그래프가 좌우로 치우친 정도, 0이면 정규분포의 형태다.
▪
첨도 값: 도움됨 수 7.5, 글자 수 1.3 수준으로 정규분포와는 멀다. *첨도란? 그래프의 뾰족한 정도, 0이면 완만한 정규분포의 형태다.
◦
분포가 넓게 퍼져있어 일관성을 찾기 힘들다.
◦
로그 스케일로 변환하여(점 사이의 거리를 줄여) 정규분포형태로 모아볼 필요가 있다.
•
중앙 차트 - 일단은 그룹 분석만을 한다.
◦
1번 영역에 많은 상품평이 도움됨 4 이하, 800자 이하에 몰려있다.
▪
낮은 도움됨 수는 글자 수가 800자 보다 작을 때 많이 발생하나?
◦
2번 영역에 글자 수 2500자를 초과하지만 도움됨 수는 20 정도로 낮다.
▪
글자 수가 많다고 해서 도움됨이 많은 건 아니다.
◦
3번 영역에 글자 수는 1000글자 미만으로 작지만 도움됨 수는 75 정도로 높은 그룹이 있다.
▪
Outlier로 보기엔 그룹화되어 있다.
▪
글자 수가 적어도 도움됨 수가 높은 경우다. 다른 어떤 요인들로 평가가 크게 바뀌는 경우가 있다 정도로 볼 수 있다.
▪
가능하면 이 부분을 키워 볼 수 있을까? 추후 이 부분을 집중적으로 분석해봐도 좋을 것 같다.

도움됨 수와 상품평 글자 수를 로그 스케일로 변환하고 상관관계를 보자.

로그 스케일로 볼 경우 크게 벌어진 간격을 줄여 상관관계를 볼 수 있다.
로그 스케일로 조정된 차트, X축 상품평 글자 수, Y축 도움됨 수
•
상단, 오른쪽 바차트를 보면 데이터가 종모양이 아니고 넓게 퍼져있어 정규분포로 보기 힘들다.
•
표준편차: 도움됨 수 0.74, 글자 수 0.97 수준으로 상당히 넓고 고르게 상품평이 퍼져있다. *표준편차?: 자료의 관찰값이 중앙값에서 얼마나 흩어져 있는지를 나타낸다.(범위 0~1)

도움됨 수와 상품평 글자 수의 상관관계를 수학적으로 계산해보자!

•
데이터가 정규분포로 보기는 어렵지만 피어슨 상관계수를 계산해봤다. *피어슨 상관계수는 두개의 변수가 서로 얼마나 상관되어 있는지를 수치로 보여준다.
◦
로그 스케일 변환 전
▪
피어슨 상관계수: 0.287 p-value : 0.0007
▪
p-value가 낮아 상관계수 값 자체는 유의미하다. 하지만 0.28(28%)의 상관관계는 매우 약하다.
•
상관계수 값에 대한 일반적인 판단기준 참고 이미지
◦
로그 스케일 변환 후
▪
피어슨 상관계수 : 0.424 p-value : 0.0000002
▪
p-value가 낮아 상관계수 값 자체는 유의미하다. 0.42(42%)의 상관관계로 간신히 상관관계가 있나? 싶은 정도로 바뀌었다. 다만 로그 스케일로 변환했기에 그대로 받아들일지 판단은 어렵고 수치가 Strong 영역에 있지 않으니 적게나마 영향이 있을 수도 있다 정도로 정리하면 좋을 듯하다.

Re:제로부터 시작하는 Pain Point 검토 결과

로켓프레시 상품평의 글자 수와 도움됨 수에는 상관관계가 적게 나왔다. 따라서 두 변수의 상관관계가 강할 것이라는 귀무가설을 기각한다. 상품평 길이는 고객이 좋은 상품평임을 판단하는 핵심가치가 아님을 알게 되었다. 상품평의 길이가 상품평 품질에 직접적 관련이 없음으로 이로써 Pain Point ‘쿠팡 로켓프레시의 상품평이 길어서 읽기 힘들어 구매전환을 방해한다.’는 문제가 없으며 이제 적당한 길이의 상품평에 가중치를 둬 상단으로 노출하는 실험을 해볼 수 있게 되었다.

 하지만 Pain Point의 변경이 필요하다.

기존 Pain point: ‘쿠팡 로켓프레시의 상품평이 길어서 읽기 힘들어 구매전환을 방해한다.’
‘상품평이 길다’는 원인이고 결과는 ‘상품평 체류시간이 길다.’인데 기존엔 원인을 Pain Point로 바로 지적했었다. 경험적인 판단에서 한 것인데, 그보다는 결과인 체류시간이 길다를 Pain Point로 잡고 원인을 찾아 개선하는 것이 보통의 체계적인 순서라고 생각된다. 상품 구매 전환이 일어나기까지의 상품평 체류시간 Metric Hierarchy를 뽑아보는 과정에서 오류를 인지하게 되었고 수정하기로 했다. 물론 쿠팡의 데이터를 확인하지 못했으니 가설이다.

 수정된 8주차 Pain Point. 쿠팡 로켓프레시의 상품평 체류시간이 길어서 구매전환을 방해한다.

질문 #2 PainPoint를 제대로 해결하고 있는지를 확인하기 위해서 최대 5개 이내의 지표를 봐야한다면, 어떤 데이터를 확인할 것이고 그 이유는 무엇인가요?’

로켓프레시의 상품평 목적을 중심으로 Metric Hierarchy를 검토한다.

목적 다양한 실질 정보를 제공하며 고객의 시간을 아껴 로켓프레시 전체의 매출을 증대시킨다.
먼저 ‘상품평과 관련한 매출’의 구성을 확인하기 위해 Metric Hierarchy를 확인한다.

또 나온 로켓프레시 상품평 관련 매출의 Metric Hierarchy

‘고객의 시간을 아낀다.’는 부분은 한참 위에서 ‘쿠팡 로켓 프레시 상품평의 목적’을 정의할 때 ‘구매/이탈까지의 전환시간 단축’을 축약했었다. 그래서 이번엔 상품의 구매/이탈까지의 전환시간 구성이 어떤지 Metric Hierarchy를 뽑아 보았다.

로켓프레시 구매 전환까지의 총 상품평 체류시간 Metric Hierarchy

고객의 시간이 상품평의 어떤 Metric과 요소에서 어떻게 소모되는지 확인해보자. *
상품평 목적을 달성하도록 구매/이탈 전환시간과 매출에 관련된 지표를 집중적으로 체크한다.
한 개를 더 빼야 5개가 되는데... 쉽지 않다. 일단 모두 넣었다.
•
상품평 조회 후 구매 전환율
◦
최종 목표는 매출이며 매출은 구매 전환율을 높이면 올라간다.
•
구매 전환까지의 총 상품평 체류시간
◦
상품 1개를 구매하기 위해서 우리는 많은 비슷한 상품을 돌아다니며 상품평을 확인한다. 이것(세션)을 하나로 봤을 때 상품평이 잘 개선되었다면 총 상품평 체류시간이 줄었을 것이다.
•
상품평 조회 후 상품 이탈률
◦
상품평이 사용자에게 충분한 정보를 잘 제공한다고 가정하면, 긍정적일 경우 구매하고 부정적일 경우 이탈할 것이다. 이탈률이 증가하여도 나쁜 것은 아니며 ‘상품평 이탈 후 다른 동종 상품 구매 전환율’에서 보상이 된다면 문제없다.
•
상품평 조회 후 구매 평균 객단가
◦
상품평이 사용자에게 좋은 영향을 줬다면 확신이 서 한 번에 여러 개를 구매할 수 있으며 상품평을 보는 시간을 줄였다면 더 많은 상품을 보고 새로운 발견을 하거나 여유 시간에 기존에 관심 있던 다른 상품을 더 찾아볼 시간이 생겼을 수 있다.
•
상품평 이탈 후 다른 동종 상품 구매 전환율
◦
상품평에서 부정적인 신호를 인지한 사용자는 동종의 다른 상품을 구매했을 수 있다. 상품 1개의 매출은 줄어도 전체로 보면 유지 혹은 더 늘었을 수 있다.
•
상품평 도움됨과 도움 안됨 수 변화
◦
상품평이 유용했다면 사용자는 더 많이 도움됨을 누르고 상품평을 쉽게 읽었다면 도움안 됨을 더 많이 누를 수 있다. 고객 피드백이 늘어난 것 자체가 의미있다.

질문 #3 위에서 생각한 5가지의 데이터 중에서 제일 중요한 1가지는 무엇이고 그 이유는 무엇인가요?

로켓프레시 상품평 조회 후 구매 전환율

‘질문 #1’에서 알아본 것처럼 쿠팡 입장에서 상품평의 가장 큰 목적이 매출이고 구매 전환을 높이기 위함이다. 그렇다면 상품평과 관련된 매출을 알아내야 해서 가장 직접적인 상품평 조회 후 구매전환율을 선정했다.

질문 #4 제일 중요한 1가지를 선택하셨다면 이것을 상승시키기 위한 가설에는 무엇이 있을까요? 그리고 이 가설을 어떻게 검증을 할 것인가요?

가설

- 사용자에게 질 높은(알고 싶은) 상품평을 먼저 보여주면 체류시간을 줄일 수 있고 구매전환율에 긍정적인 영향을 줄 수 있다. - 상품평 도움됨, 도움 안됨 평가를 늘리면 상품평의 질을 더 잘 알 수 있고, 사용자에게 질 높은 상품평을 빠르게 많이 보여줄수록 더욱 매출에 긍정적인 영향을 줄 것이며 고객의 만족도도 높아질 것이다. → 상품평 베스트순 알고리즘 변경으로 두 가지를 한 번에 확인 가능하다.

또 나온 로켓프레시 구매 전환까지의 총 상품평 체류시간 Metric Hierarchy

상품평 정렬 순서를 변경

위의 총 상품평 체류시간 Metric Hierarchy에서 ‘상품평 정렬 순서 변경’에 사용할 수 있는 지표를 찾아 상품 정렬 순서 알고리즘을 변경한다.
•
상품평 글자 수
◦
적절한 숫자를 구해 가중치를 높게 준다.
◦
크롤링한 데이터 분석 결과 글자 수 중앙값이 ‘472자’로 나타났다.
◦
가중치를 470자에 가장 높게 적용하고 최적화를 진행한다.
•
도움됨 수
◦
도움됨 수를 더욱 적극적으로 반영한다.
◦
데이터 분석 결과 현재 어느 정도 비중으로 도움됨 수가 반영되는지 알 수 없었다. 추측컨대 데이터에 없는 것 중 도움됨 수 보다는 가장 최근에 도움됨이 추가된 상품평에 더 가중치를 줄 수도 있겠다는 생각이 든다. 아마도 상품평마다 랭킹을 관리하는 랭킹 값이 있고 어떤 이벤트가 있을 때마다 랭킹 값을 증감시켜 정렬하는 것 같다.
•
상품평의 등록일
◦
로켓프레시 농수산물 상품은 출하 시기에 따라 품질이 크게 달라진다. 오래된 상품평은 설득력이 낮을 수 있다. 상품평의 질을 올리는 또다른 방법이다. 등록일에 중간 정도 가중치를 준다.
◦
하지만 이번 A/B 테스트에서는 노이즈가 될 수 있으니 다음 테스트로 넘긴다.

가설 검증

A/B 테스트를 수행한다.
•
대상자: 곰곰 무항생제 신선한 대란 상품을 조회한 모든 사용자
•
A/B 테스트 호출 시점: 유저가 상품의 상품평에 진입하는 시점
•
A/B 테스트 기간: 2022.1.3 ~ 2022.1.16 2주간 진행
•
A/B 테스트 방식: 서버 기반(앱 버전 상관없이 모두 참여, 웹도 모두 참여)
•
A/B 그룹 분기 방식: 계정 단위로 랜덤 배정(같은 계정은 계속 같은 그룹의 화면을 봄)
•
A/B 테스트 내용:
◦
A그룹: 기존 상품평 베스트순 정렬 알고리즘
◦
B그룹: 변경된 상품평 베스트순 정렬 순서 알고리즘
•
검증 방식: 질문2의 주요 지표 확인
◦
상품평 조회 후 구매 전환율
◦
상품평 조회 후 상품 이탈률
◦
상품평 조회 후 구매 평균 객단가
◦
상품평 이탈 후 다른 동종 상품 구매 전환율
◦
상품평 도움됨과 도움 안됨 수 변화
◦
구매 전환까지의 총 상품평 체류시간
◦
추가로 테스트가 기능상 정상 작동했는지 확인한다

추가질문 # 1주차 Case. 본인의 프로덕트를 데이터 관점으로 접근해보기

Case 1: 테스트 시작 후 1주일은 A 집단의 결과가 좋았지만 이후 B집단의 결과가 더 좋았다.

여기서 결과는 매출, 구매 전환율, 구매 전환까지의 총 상품평 체류시간으로 가정한다.
1.
질문 2의 주요 지표들을 확인한다.
a.
평균은 같지만 어떤 지표는 A가 좋고 어떤 지표는 B가 좋을 수 있다.
2.
테스트 기능이 정상 작동했는지 확인한다.
a.
예상되는 순서대로 상품평이 나오고 있는가?
3.
지표에 근거하여 가설을 확인한다.
a.
시기적으로 상품의 질이 괜찮다가 2주 차에 문제가 생겼을 수 있다. → 도움 안됨 수가 늘었는지 실제 상품의 상태가 어땠는지 사입 담당자와 물류의 실물을 확인한다.
b.
B집단에서 도움됨 수가 어느 정도 추가되어야 상품평 정렬이 정상적으로 작동이 될 수도 있다. → 같은 설정으로 1주 더 테스트한다.
4.
다시 이터레이션 한다. → 매출은 쉽게 변하지 않는다 쉬운 일이 아니니 끈기를 가지고 재도전한다. 경우에 따라 사용자 인터뷰를 직접 진행한다.

Case 2: A/B 테스트 전체 기간 동안 유의미한 차이가 없고 비슷한 수준으로 측정됨.

1.
질문 2의 주요 지표들을 확인한다.
a.
평균은 같지만 어떤 지표는 A가 좋고 어떤 지표는 B가 좋을 수 있다.
2.
테스트 기능이 정상 작동했는지 확인한다.
a.
예상되는 순서대로 상품평이 나오고 있는가?
3.
지표에 근거하여 가설을 확인한다.
a.
상품 자체가 상품평에 영향을 크게 안 받는 고정 구매층이 매우 많은 상품일 수 있다. → 해당 상품 첫 구매자만으로 다시 데이터를 확인한다. 만약 모수가 너무 적다면? → 신상품 중 구매 수 가 높은 상품으로 다시 선정하여 테스트한다.
b.
지표에 변화가 거의 없어도 회원별 로우데이터에서는 변화가 있을 수 있다. → 체류 시간이 긴 사람과 짧은 사람 중 샘플을 뽑아 로우 데이터를 확인한다.
c.
지표에 변화가 있긴 하지만 미미하다면 상품평 정렬 가중치를 좀 더 극적으로 변화시키면 결과가 달라질 것이다. → 가중치를 기존 대비 2~3배 정도로 늘려 2주 더 테스트한다.
4.
다시 이터레이션 한다. → 매출은 쉽게 변하지 않는다 쉬운 일이 아니니 끈기를 가지고 재도전한다. 경우에 따라 사용자 인터뷰를 직접 진행한다.

후기

드디어 라스트 퐈이널리 8주간의 스터디가 종료되었네요. 매번 최선을 다하여 과제를 진행한다고 했었지만 이번은 특히 마지막에 걸맞게 제가 가지고 있는 커머스에 대한 지식에 데이터 전처리, 데이터 분석 역량을 총동원하여 과제물을 진행해봤습니다. 우어... 결과가 어떨지 모르겠지만 최선을 다 했어요. 어설프게 적용한거 아닌가 싶긴하지만 기존에 따로따로 있던 지식이 이렇게 어우러질 수 있다는 것에 가슴이 뭉클해졌습니다. 이게 다 운영자님께서 판을 깔아주시고, 도비님께서 도와주시고, 데비님께서 열정을 나눠주신 덕 아닐까 싶습니다.
기억에 아로새겨진 8주였습니다. 특히 자리 만들어주신 운영자님께 너무너무 감사드립니다.   정말 너무 대단하세요. 준비에 운영에 크~ 존경합니다. 열정에  불타는 하트가 딱 적당하신 거 같아요. 다음에도 이런 기회가 있다면 또 함께하고 싶네요  그동안 감사했습니다!
마지막으로 뜨거웠던 파이썬 코딩의 흔적을 남겨봅니다. ㅎ