옆 가게 사장님이 "결제 버튼 색을 바꿨더니 매출이 30% 늘었다"고 한다. 우리도 따라 바꿨다. 그런데 매출은 그대로다. 무엇이 달랐을까. 답은 'A/B 테스트'에 있다. 디자인을 통째로 뜯어고치지 않고도 한 번에 한 가지만 바꿔서 비교해 보면, 옆 가게 정답이 아니라 우리 사이트의 정답이 보인다.
1. 가설을 먼저 적는다
"빨간 버튼이 더 좋을 것 같아"는 직감이지 가설이 아니다. 가설은 "이걸 이렇게 바꾸면, 이런 이유로, 이 지표가 얼마나 바뀔 것이다" 형태로 적어야 한다. 예: "결제 버튼 문구를 '구매하기'에서 '지금 받기'로 바꾸면, 즉시성이 강조되어 결제 완료율이 10% 오를 것이다." 가설을 적어 두면 테스트가 끝났을 때 검증할 게 명확해진다. 막연한 감으로 시작한 테스트는 결과가 나와도 무엇을 배웠는지 정리되지 않는다.
2. 한 번에 한 변수만 바꾼다
버튼 색도 바꾸고, 글자도 바꾸고, 위치도 옮겼다. 결과가 좋아져도 무엇이 효과를 줬는지 알 수 없다. 한 번에 한 가지만이 원칙이다. 색을 테스트할 거면 색만 바꾸고 위치·크기·문구는 그대로 둔다. 두 가지 이상을 동시에 비교하려면 다변량 테스트(MVT)가 필요한데, 하루 방문자 수백 명 수준의 작은 회사 트래픽으로는 통계가 잡히지 않는다. 욕심을 한 번에 한 칸씩 줄이는 게 가장 빠른 길이다.
3. 통계적으로 충분한 표본을 모은다
방문자 30명을 보고 "A안이 이겼다"고 결론 내리면 안 된다. 작은 회사 기준으로는 각 안마다 최소 100~300건의 전환이 쌓일 때까지 기다리는 것이 안전하다. 전환이 하루 5건이면 한 테스트에 한 달이 필요할 수도 있다. 그 사이에 계절·요일·광고·날씨 같은 외부 변수가 끼어들지 않는지도 살핀다. 너무 짧게 끊으면 우연을 실력으로 착각한다. 모자라면 결론을 미루는 게 잘못된 결론을 내리는 것보다 낫다.
4. 측정 지표는 매출까지 따라간다
'클릭률이 올랐다'는 함정이다. 클릭이 늘어도 결제는 줄어드는 경우가 흔하다. 작은 회사가 봐야 할 지표는 최종 매출 또는 진짜 문의다. 결제 완료, 견적 요청, 문의 폼 전송 같은 '돈이 되는 행동'까지 끌고 가서 측정한다. 중간 지표(스크롤, 체류 시간, 클릭률)는 참고일 뿐이다. 중간 지표만 보고 승자를 정하면, 윗단은 좋아 보이는데 아랫단에서 매출이 빠지는 사이트가 만들어진다.
5. 진 가설도 기록으로 남긴다
실패한 테스트는 부끄러운 게 아니라 자산이다. "빨간 버튼이 더 나을 거라 봤는데 결과는 같았다" 같은 기록도 남겨 두면, 다음에 같은 함정에 빠지지 않는다. 노션이든 스프레드시트든 한 줄이면 충분하다. 가설·변수·기간·결과·결론. 1년이 쌓이면 우리 사이트의 사용 설명서가 된다. 직원이 바뀌어도 이전 학습이 그대로 남는 것 — 이게 작은 회사의 가장 큰 무기가 된다.
도구는 무거울 필요가 없다
작은 회사에 거창한 A/B 테스트 플랫폼은 사치다. 마이크로소프트 클래리티(무료)로 사용자 행동을 살피고, 구글 태그 매니저 + GA4로 두 버전을 50:50으로 분기시켜 직접 비교하면 충분하다. 광고 소재 테스트는 네이버 검색광고·메타 광고 매니저에 내장된 A/B 기능을 그대로 쓰면 된다. 처음에는 한 달에 한 번, 익숙해지면 격주로 한 번. 이 리듬만 잡아도 1년 뒤 사이트는 작년의 우리 사이트가 아니다.
CYAN 에이전시는 사이트를 만들 때 처음부터 측정·분기·기록이 함께 굴러가도록 GA4와 GTM을 심어 둔다. 디자인 한 번에 끝나는 사이트가 아니라, 매달 더 똑똑해질 수 있는 사이트 — 그게 우리가 생각하는 좋은 웹사이트의 모습이다.