A/B 테스트

단축 링크의 A/B 테스트란 주소 하나에 목적지를 둘 이상 두고 각각에 트래픽 몫을 배정한 뒤, 그다음에 벌어지는 일을 기준으로 판단하는 것입니다. 분할 자체는 링크 플랫폼이 처리하지만, 목표를 제대로 반영하는 지표 — 전환, 가입, 매출 — 로 비교하는 일은 여러분의 몫입니다. 클릭이 재는 것은 링크이지 그 뒤에 있는 페이지가 아니기 때문입니다.

수치를 믿을 수 있는지는 두 가지 장치가 결정합니다. 우선 배정이 안정적이어서, 내일 다시 찾아온 방문자가 다른 페이지가 아니라 같은 변형을 보아야 합니다. 그리고 어떤 변형이 제공되었는지가 클릭과 함께 기록되어야 나중의 이벤트를 그 변형에 귀속시킬 수 있습니다. 가중치의 합도 트래픽 전체와 같아야 하며, 그렇지 않으면 일부가 측정되지 않는 곳으로 흘러가 버립니다.

흔한 실수는 조급함과 흔들림입니다. 표본이 작으면 수치가 이리저리 요동치므로 초반의 우세는 대개 잡음입니다. 이 테스트에 트래픽을 얼마나 줄지 미리 정해 두십시오. 테스트 도중에 가중치를 바꾸면 서로 다른 두 모집단이 한 보고서 안에 섞입니다. 그리고 열 가지가 한꺼번에 다른 변형은 무언가가 통했다는 사실만 알려 줄 뿐, 무엇이 통했는지는 알려 주지 않습니다.