A/B 테스트

A/B 테스트란?

A/B 테스트는 라이브 트래픽의 일정 비율을 테스트 버전으로 라우팅하고, 나머지는 현재 라이브 버전으로 유지합니다. 두 버전 모두 실행 로그를 생성하므로, 완전히 전환하기 전에 실제 데이터로 성능을 비교할 수 있습니다.

사전 조건

현재 배포된 (라이브) 버전이 있는 정책 그룹
발행된 (ACTIVE 상태) 테스트 버전
두 버전이 동일한 정책 그룹에 속해야 함

A/B 테스트 시작

콘솔

정책 그룹으로 이동 → A/B 테스트 시작 클릭 → 테스트 버전 선택 → 트래픽 비율 설정.

CLI

lexq groups ab-test start \
  --group-id <groupId> \
  --version-id <testVersionId> \
  --traffic-rate 10

--traffic-rate는 테스트 버전으로 라우팅할 트래픽 비율(1–99%)입니다.

결과 모니터링

A/B 테스트 중 두 버전 모두 실행 로그를 생성합니다:

lexq history stats --group-id <groupId>

성공률, 매칭률, 레이턴시, 출력 변수 분포를 비교하세요.

트래픽 조정

확신이 생기면 점진적으로 테스트 버전의 트래픽을 증가시킵니다:

lexq groups ab-test adjust --group-id <groupId> --traffic-rate 30
lexq groups ab-test adjust --group-id <groupId> --traffic-rate 50

A/B 테스트 중지

lexq groups ab-test stop --group-id <groupId>
lexq groups ab-test stop --group-id <groupId> --force

중지하면 모든 트래픽이 라이브 버전으로 돌아갑니다. 테스트 버전은 ACTIVE 상태를 유지하지만 더 이상 트래픽을 수신하지 않습니다.

일반적인 워크플로우

규칙 변경사항이 있는 새 DRAFT 버전 생성
드라이런으로 변경사항 검증
새 버전 발행 (DRAFT → ACTIVE)
10% 트래픽으로 A/B 테스트 시작
실행 로그 모니터링 및 지표 비교
점진적 증가: 10% → 30% → 50%
만족스러우면 테스트 버전을 새 라이브 버전으로 배포
A/B 테스트 중지

A/B 테스트는 프로덕션 트래픽에 영향을 줍니다. 낮은 비율(5–10%)로 시작하고 스케일업 전에 면밀히 모니터링하세요.

시작하기

핵심 개념

기능

A/B 테스트란?

사전 조건

A/B 테스트 시작

콘솔

CLI

결과 모니터링

트래픽 조정

A/B 테스트 중지

일반적인 워크플로우

다음 단계

변경 영향 시뮬레이션

배포

​A/B 테스트란?

​사전 조건

​A/B 테스트 시작

​콘솔

​CLI

​결과 모니터링

​트래픽 조정

​A/B 테스트 중지

​일반적인 워크플로우

​다음 단계

변경 영향 시뮬레이션

배포

A/B 테스트란?

사전 조건

A/B 테스트 시작

콘솔

CLI

결과 모니터링

트래픽 조정

A/B 테스트 중지

일반적인 워크플로우

다음 단계