Introduction to Project KlickLab

프로젝트 개요

클릭랩(KlickLab)은 웹사이트에서 발생하는 사용자 행동 데이터를
실시간으로 수집하고 분석하는 고성능 웹 애널리틱스 플랫폼이다.

클릭랩은 웹사이트 방문자의 클릭스트림(Clickstream)을
빠르고 정확하게 기록하고 분석하여,
기업이 사용자 행동에 기반한
데이터 중심의 의사결정을 할 수 있도록 지원한다.

기능적으로 구글 애널리틱스(Google Analytics)와 유사한 역할을 수행한다.

프로젝트 목적

클릭랩은 웹 애널리틱스 환경에서 요구되는 성능과 유연성 문제를 다음과 같이 해결하고자 한다.

• 초고속 데이터 처리: 초당 수만~수십만 건 이상의 사용자 이벤트를 안정적으로 처리
• 유연한 분석 쿼리: 다양한 조건과 관점에서 데이터를 실시간으로 분석하고 집계할 수 있는 고성능 쿼리 지원

핵심 기능

실시간 사용자 데이터 수집

• 사용자의 클릭, 페이지 뷰, 스크롤 등의 행동 이벤트를 실시간으로 수집
• 데이터 수집부터 분석까지의 지연 시간 최소화(10분)

쿼리 및 분석

• 사용자 행동 데이터를 다양한 조건으로 고속 분석할 수 있는 쿼리 기능 제공

효율적인 저장소

• 데이터 저장 및 조회 속도를 극대화하기 위한 컬럼 기반 데이터베이스(ClickHouse) 활용

아키텍처의 특장점

• 쓰기/읽기 분리(Write/Read Separation): 높은 쓰기 성능을 요구하는 데이터 기록(write-only 서버)과 복잡한 분석 쿼리를 처리하는 조회(read-only 서버)를 별도로 구성하여 성능 최적화
• 분산 데이터 관리: 데이터의 복제와 동기화를 통해 안정성 및 가용성 극대화

사용된 주요 기술 스택

• AWS 클라우드 인프라: Amazon EC2, AWS Lambda, Kafka, 네트워크 로드 밸런서(NLB) 등 다양한 AWS 서비스를 활용하여 높은 가용성과 안정성 확보
• ClickHouse 데이터베이스: 방대한 이벤트 데이터를 효율적으로 처리하고 분석하는 데 특화된 컬럼 기반 데이터베이스로, 뛰어난 성능과 압축률을 제공
• ClickHouse Keeper: ClickHouse 데이터베이스의 복제 및 데이터 동기화를 담당하는 고성능 분산 코디네이션 서비스 (ZooKeeper 호환)

이유

웹 분석 도구 시장은 이미 Google Analytics, Mixpanel 같은 강력한 선도 제품들이 자리잡고 있다.
이들이 구축한 기술 스택은 복잡하면서도 고도화되어 있으며,
그만큼 명확하고 지속적인 수요가 존재한다는 사실을 직접 확인할 수 있었다.

Our Goal

• 실시간 데이터 수집부터 가공, 시각화까지 전 과정을 직접 구현
• 그 과정에서 발생하는 수많은 문제를 직접 해결하며 역량 강화
• 복잡한 시스템 구조를 이해하고 기술에 대한 내실을 다지기

SDK 기반 이벤트 수집

• 웹 페이지에 <script> 한 줄로 간단히 연동
• 자동으로 page_view, click, form_submit 등의 주요 이벤트 수집
• CDN 및 NPM 패키지로 배포 완료

실시간 데이터 처리 및 적재

• 수집된 이벤트를 Kafka-Lambda 파이프라인을 통해 ClickHouse에 실시간 저장
• 초당 수만 건 이상의 이벤트도 무리 없이 처리 가능

데이터 시각화 및 분석 기능

• 전환 흐름 분석 (Conversion Summary)
• 사용자 여정 시각화 (Sankey 차트)
• 세그먼트 필터 및 행동 기반 요약 카드
• 트렌드 기반 차트 분석