합이 맞는 가중치, 흔들리지 않는 분할
A/B 탭에는 목적지 URL과 가중치를 가진 변형 목록이 있습니다. 가중치의 합이 정확히 100%가 될 때까지 양식은 저장을 거부합니다. 트래픽의 10%가 반올림 틈으로 사라진 테스트를 직접 들여다보기 전에는 깐깐하게만 들리는 규칙입니다. 기본값은 50 대 50의 변형 두 개이며, 위험한 것을 트래픽 일부에서만 시험할 때는 90 대 10 같은 불균등 분할도 똑같이 유효합니다.
변형 배정은 요청마다 무작위로 하는 대신 방문자마다 결정적으로 이뤄집니다. 같은 사람이 같은 링크를 두 번 따라가면 같은 목적지를 보게 됩니다. 방문자가 두 랜딩 페이지 사이를 오가면 경험도 나빠지고 결과도 의미를 잃기 때문입니다. 배정은 순 방문자 집계에 쓰는 일별 방문자 해시에서 파생되므로, 이를 위해 추가로 저장하는 데이터도 없고 설정되는 쿠키도 없습니다.
부풀리지 않고 보고하는 결과
분할이 진행 중인 링크에는 분석 화면에 A/B 위젯이 추가됩니다. 변형별 클릭 수와 순 방문자, 설정한 비중 대비 실제로 받은 비중, 그리고 이전 기간 대비 변화를 보여 줍니다.
숫자 옆에는 정규 근사로 계산한 신뢰 구간과, 그 차이가 통계적으로 의미를 갖게 되는 기준을 적은 설명이 함께 놓입니다. 대부분의 링크 도구는 막대 두 개를 보여 주고 더 높은 쪽이 이겼다고 읽도록 내버려 둡니다. 이 설명이 있는 이유는 클릭 100건에 6% 차이를 고객에게 승리로 보고하는 일을 막기 위해서입니다.
변형 라벨은 클릭 이벤트 자체에 담기므로 다른 모든 분류를 변형 기준으로 필터링할 수 있습니다. 변형 B가 모바일에서만 변형 A를 앞섰는지, 특정 국가에서만 그랬는지를 두 번째 실험을 만들지 않고 확인할 수 있습니다.
링크에서 시험해 볼 만한 것
가장 표준적인 사례는 랜딩 페이지 변형입니다. 페이지 두 가지, 링크 하나, 그리고 의견 대신 실제 트래픽입니다. 가격과 오퍼 페이지에서 효과가 가장 큽니다. 표현 방식의 차이가 헤드라인 수정보다 훨씬 큰 차이를 만들기 때문입니다.
그 밖에도 서로 변형 관계가 전혀 아닌 목적지를 비교할 때 분할이 유용합니다. 제품 페이지와 비교 아티클, 가입 양식과 데모 예약, 스토어 등록 페이지와 웹 결제 같은 조합입니다. 제휴 마케터는 같은 트래픽으로 오퍼 두 개를 비교하는 데 사용합니다. 두 주에 걸쳐 번갈아 실행하는 것보다 공정한 테스트입니다.
분할이 페이지가 아니라 링크에 있으므로, 여러분이 통제하지 못하는 목적지나 테스트 스크립트를 넣을 자리가 없는 페이지도 시험할 수 있습니다.
- 같은 캠페인 트래픽에 랜딩 페이지 두 가지
- 완전히 전환하기 전에 새 페이지를 일정 비율로 점진 배포
- 동일한 트래픽에 서로 다른 광고주의 오퍼 두 개
- 모바일 캠페인에서 웹 결제와 앱 스토어 등록 페이지 비교
테스트 종료는 필드 하나만 바꾸면 됩니다
이긴 변형이 나오면 그 URL을 기본 목적지로 설정하고 분할을 끄면 됩니다. 그때까지 공유한 모든 링크는 계속 동작합니다. 단축 URL 자체는 바뀐 적이 없기 때문입니다. 테스트 기간의 변형 라벨을 포함한 과거 클릭 데이터도 링크에 그대로 남습니다.
분할은 링크의 나머지 기능과 함께 작동합니다. 타기팅 규칙이 우선하므로 전용 목적지를 둔 시장은 자동으로 실험에서 제외됩니다. 캠페인 파라미터는 선택된 변형에 붙으므로, 테스트의 양쪽 모두 저희 분석뿐 아니라 여러분 자체 분석에서도 올바르게 귀속되어 나타납니다.
자주 묻는 질문
링크 하나에 변형을 몇 개까지 둘 수 있습니까?
가중치가 허용하는 만큼 둘 수 있지만, 쓸모 있는 테스트는 보통 두세 개 선에서 이뤄집니다. 변형마다 결론을 낼 만큼의 트래픽이 필요하므로, 링크 하나를 네 갈래로 나누면 대개 하나의 분명한 답 대신 네 개의 애매한 결과가 나옵니다.
같은 사람은 항상 같은 변형을 보게 됩니까?
하루 안에서는 그렇습니다. 배정은 일별 방문자 해시에서 결정적으로 파생됩니다. 날이 바뀌면 솔트가 교체되므로 다시 방문한 사람은 다른 변형을 받을 수 있습니다. 누구에 대해서도 영구 식별자를 저장하지 않기 위해 저희가 감수하는 맞바꿈입니다.
A/B 테스트에 추가 비용이 듭니까?
A/B 테스트는 링크 레코드의 일부이므로, 여러분이 판매하는 요금제가 허용하는 곳이면 어디서든 쓸 수 있습니다. 따로 구매해야 하는 실험 제품도 없고 실험당 과금도 없습니다. 적용되는 유일한 한도는 일반적인 추적 클릭 허용량입니다.