데이터 분석 기록용

유튜브를 떠돌다가 본 동영상 의미 없이 유튜브를 떠돌던 어느 날 조코딩님이 올린 아래 강의가 눈에 들어왔다. 랭체인으로 수익형 AI 웹서비스 만들기 with ChatGPT, LLaMA 2, RAG 해당 강의를 보고 느낀점은 두 가지였다. ChatGPT API사용이 생각보다 어렵지 않게 구성되어 있구나. streamlit를 이용한다면 단순히 파이썬으로 프런트를 개발할 수 있는 점을 넘어 굉장히 손쉽게 데이터를 웹으로 표현, 배포할 수 있겠구나. 하지만 필자는 단순히 간단한 사이드 프로젝트를 개발하 것보다는 현재 일하고 있는 에듀테크와 연관된 프로젝트를 진행할 방법이 없을까 고민해 봤고 수업시간 20분~30분 기준 학교를 다니는 학생을 대상으로 한 영어 작문 챗봇을 만들면 재밌겠다고 생각하여 프로젝트를 진행..

데이터 로깅이 필요했던 이유 현재 필자는 에듀테크 스타트업에서 일을 하고 있으며 홀로 데이터 분석일을 전담해서 진행하고 있다. 올해 초, PM에게서 회사 내부 AI가 추천해주는 문제의 난이도가 사용자가 풀기 너무 어렵다는 VOC가 증가하고 있다는 내용을 들었다. 이에 따라 실제 VOC의 내용이 맞는지 분석이 필요한 분석을 요청을 받았다. 우선 본격적으로 데이터를 분석하기 전 우리는 분석에 필요한 데이터가 있는지부터 확인해봐야 한다. 물론 모든 에듀테크 스타트업은 출제된 문제와 풀이한 정답 데이터를 서비스 DB에 저장한다. 다만 문제는 이 서비스 DB는 서비스를 하기위한 필수적인 데이터를 저장하는데 목적이 있지 분석에 필요한 모든 것을 저장하지 않는다는 점이다. 실제로 해당 데이터 분석에 앞서 필요한 데이..

뻘짓의 시작 청계천 피라냐와 인왕산 흑표범 밈이 도대체 어디서 나왔는지 알아보기 위해 블루아카이브 김용하PD 나무위키를 살펴보던 중 흥미로운 글을 보게 되었다. 본인에게 연애 기회가 총 10번까지 주어진다고 가정하는 경우에 처음 두 명은 버리고 세 번째 상대가 이전 두 명보다 나으면 찜하는 전략이 최적 해에 가까운 결과를 얻을 수 있다고 생각한다. 해당 글을 보고 드는 생각은 딱 두 가지 였다. 은근 설득력있는데 이거 진짜일까?? 그럼 3명까지 지켜보는 전략이 더 좋을 수 있는거 아냐? 코드 몇 줄 안나올 꺼 같은데 걍 한번 해보고 블로그 컨텐츠로 써먹어야지 하지만 시뮬레이션 작성은 금방 끝났지만 문서화가 몇 배나 더 걸린 것은 생각하지 못했다. 미소녀 없는 연애 시뮬레이션 코딩 해당 미없시의 전제 조..

가설검정과 P-value 가설검정? 우리가 A/B 테스트를 진행할 때는 버전 A와 버전 B 사이 전환율($ p_a, p_b $)이 통계적으로 유의한지 확인하는 것을 목표로 진행한다. 이 경우 귀무가설($H_0$)과 대립가설($H_1$)은 아래와 같다. $$ \begin{align*} H_0 &: d = p_a-p_b = 0\\ H_1 &: d > 0 \end{align*} $$ 가설검정을 진행할 때는 우선은 귀무가설이 기본적으로 맞다고 보고 진행한다. 실험하기 전, $ p_a, p_b $ 사이에 강한 차이가 있을 것이라고 직감적으로 알고 있어도 우리는 귀무가설을 맞다고 기본전제를 깔고 가는 것이다. 가설검정의 프로세스는 무죄 추정의 원칙을 데이터 분석에 적용하는 것과 비슷하다고 보면 된다. 결론적으로 가..

구분 값 비고 이 달의 다운로드 횟수 12304 실행 11812 96% 실행률 활성화 사용자 3544 30% 활동률 월 이탈률 15% 단위 기간 내 이탈한 고객 수 / 단위 기간 초의 고객 수 분모는 기간 초와 기간 말의 평균값 등 다양하게 활용가능 이용자 생애 주기 6.67개월 100%/15% = 6.67개월 이 달의 매출 $11339 사용자당 평균 매출(ARPU) $3.2 $11339/3544 = $3.2 CLV $21.33 $3.2 * 6.67 = $21.33 생애 주기 매출 $75596 $11339 * 6.67 = $75596 CAC(고객 확보 비용) $11.21 활성화 사용자당 공헌이익 $10.12 CLV - CAC = $21.33 - $11.21 = $10.12 활성화 사용자 확보의 투자 수익..

기초 명령어 모음 현재 상태 확인 git status git 저장소 생성하기 git init 저장소 복제 및 다운로드 git clone [https: ~~~~ ] private repo의 경우 git clone을 시도할 경우 아래와 같은 창이 뜬다. $ git clone 'repo url' Cloning into 'repo url'... Password for 'https://your account@github.com': 2023년 현재 실제 계정 password를 입력 할 경우 아래와 같은 오류가 발생하는데 remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token..

A/B 테스트란? A/B 테스트 실험을 위해서는 대조군 버전A와 실험을 위한 일부 요소가 변경된 버전B의 두 가지 다른 버전 만들어 사용자에게 랜덤하게 노출되는 통제 실험을 의미하며, 이후 실험 전 미리 정의된 측정항목을 통해 어떤 버전이 더 나은 성과를 얻었는지 확인하기 위한 연구 방법론 중 하나이다. 상단의 이미지를 통해 예시를 들자면 파란 버튼을 노출하는 기존의 A버전과 초록색 버튼을 노출하는 B버전 중 B버전이 통계적으로 유의하게 클릭률이 높다면 사용자들이 얼마나 더 초록색 버튼을 선호하는지 통계적 추론을 근거로 기존의 서비스에 비해 새로 개선한 서비스가 너 낫다고 판단할 수 있다. n개 이상 변화되는 요소에 대한 테스트 상단의 A/B 테스트에서 변경된 요소는 버튼 색깔만 존재한다. 이 실험에서 ..