A/B 테스트, 분할 테스트라고도 알려졌는데요.
다양한 위치의 요소들에 기존 콘텐츠 외에 변형 콘텐츠(변수)를 추가하여 동시에 많은 타겟에게 노출하여 이에 대한 반응을 보는 과정을 말합니다.
간단히 말해서, 고객이 버전 A를 더 좋아할 것인지, 버전 B를 더 좋아할 것인지를 확인하는 과정입니다.
개념은 과학적인 방법과 유사한데요. 한 가지 요소를 변경했을때 어떤 영향을 미치는지 알고 싶다면, 그 한 가지 요소만 바뀌는 상황을 설정해야 합니다.
초등학교때 했던 실험으로 예를 들자면, 흙 2컵에 씨앗 2개를 넣고 하나는 사물함에, 하나는 창가에 놓아두고 다른 결과를 관찰할 수 있습니다.
이러한 종류의 실험이 A/B 테스트 입니다. 이 변수가 가져다주는 결과는 마케팅에 많은 영향을 미치고 비즈니스 지표를 주도합니다.
마케팅에서의 A/B 테스트
마케터에게 A/B 테스트가 중요한 이유
마케터는 A/B 테스트를 통해 두 가지 버전의 디지털 자산을 생성해 어느 쪽이 더 사용자 반응이 좋은지 확인할 수 있습니다.
자산의 예로는 랜딩 페이지, 디스플레이 광고, 마케팅 이메일, 소셜 미디어(SNS) 게시물 등이 있습니다. A/B 테스트에서 잠재고객 중 절반은 자동으로 버전 A를, 나머지 절반은 버전 B를 받습니다. 각 버전의 성능은 링크를 클릭하거나 양식을 작성, 혹은 구매를 진행하는 사람들의 비율와 같은 전환율 목표를 기반으로 합니다.
A/B 테스트는 디지털 마케팅의 출현과 함께 나타난 새로운 전략이 아닙니다. 이전부터 다양한 방식으로 기업의 A/B 테스트는 진행돼 왔고, 현재에 이르어 디지털 기능을 기반으로 구축되어 보다 구체적이고 안정적으로 빠른 결과물을 산출할 수 있게 되었습니다.
비즈니스를 성장시키려 할 때, 어떤 마케팅 전략이 청중에게 가장 큰 공감을 불러 일으키는지 파악하기 어려운 경우가 많습니다. 이런 경우 A/B 테스트는 다양한 시도를 통해 콘텐츠를 개선하고 최고의 고객 경험을 제공해 전환 목표를 더 빠르게 달성할 수 있도록 돕습니다.
디지털 시대의 A/B 테스트, 어떤 모습일까?
디지털 마케팅의 A/B 테스트는 랜딩 페이지 또는 웹페이지 두 가지의 변형을 만들어 설정된 마케팅 목표에 가장 적합한 페이지를 선택하는 일종의 콘텐츠 실험입니다. A/B 테스트를 이해하는 가장 좋은 방법은 가장 일반적인 유형의 분할 테스트 및 다변량 테스트와 관련하여 이를 이해하는 것입니다.
분할테스트 및 분할 URL 테스트는 서로 다른 고객 그룹에 두 개의 완전히 다른 방문 페이지를 제시한 후 전환율을 측정하는 테스트입니다. 이 결과, 어떤 방문 페이지의 성과가 더 좋은지 확인하는 콘텐츠 실험이라고 할 수 있습니다. 반면, A/B 테스트를 진행할때 마케터는 완전히 다른 랜딩 페이지를 사용하지 않습니다. 대신 클릭 유도 문구, 판매 문구, 페이지 요소의 색상이나 위치 등 일부 요소만 변경합니다.
A/B 테스트와 A/B/n 테스트의 차이
분할테스트가 완전히 다른 두 페이지 간의 성능 차이를 측정한다면, A/B 테스트는 개별 페이지 요소를 일부만 변경하고 그에 따른 전환율 변화를 측정해 개선 방법을 찾고자 하는 전략입니다. 일부 디지털 마케터는 A/B/n Test 실험을 사용해 웹사이트 성능을 향상하기도 합니다.
A/B/n 테스트는 A/B 테스트와 달리 랜딩 페이지 및 웹페이지의 변형이 최소 3개 이상 사용됩니다. A/B/n의 ‘n’은 테스트할 변형 수를 나타냅니다. 테스트가 끝나면 각 변형의 전환 수를 확인하고 전환율이 가장 높은 이상적인 변형을 결정해야 합니다. 일반적으로 A/B/n 테스트는 고급 다변량 테스트 로 넘어가기 전의 예비 단계라고 할 수 있죠.
다변량 테스트는 A/B 테스트와 비슷하지만, 페이지에서 여러 요소의 여러 변형을 생성합니다. 이러한 변형은 다양한 방식으로 결합되어 소비자에게 제시되어 어떤 변경 조합이 최상의 캠페인 결과를 만드는지 확인할 수 있습니다.
A/B 테스트, 마케터가 고려해야 하는 이유
마케터가 A/B 테스트를 진행해야 하는 이유가 무엇일까요? ㈜성장에서는 지속적이고 꾸준하게 A/B 테스트를 진행하고 있습니다. A/B 테스트는 단기적, 단발적으로 진행하는 마케팅 전략이 아니라는 말이죠. 그렇다면 ㈜성장이 지속적으로 A/B 테스트를 진행하는 이유가 무엇일까요? 그것은 바로 이 전략이 꾸준한 성과를 내는 사실상 유일한 방법이기 때문입니다.
방문자의 문제점 해결
방문자는 자신이 염두에 두고 있는 특정 목표를 달성하고자 여러분의 웹사이트를 방문합니다. 여러분의 제품이나 서비스에 대해 더 자세히 이해하거나, 특정 제품을 구매, 특정 주제에 대해 자세히 알아보거나 혹은 단순히 탐색하기 위해서 일 수 있습니다. 방문자의 목표가 무엇이든, 그들은 목표를 달성하는 동안 몇가지 공통적인 장애물을 만날 수 있습니다. 예를 들어, 지금 구매나 데모 요청 등과 같은 CTA 버튼을 찾는데 어려움을 겪을 수 있는 것이죠. 이런 경우를 고려해 마케터는 A/B 테스트를 통해 어떤 랜딩 페이지나 웹페이지에서 더 접근성과 편의성을 느꼈는지 판단해야 합니다.
기존 트래픽에서 더 나은 ROI 생성
여러분 대부분이 알고 있듯이, 웹사이트에서 고품질 트래픽을 확보하는데 드는 비용은 엄청납니다. AB Test를 통해 여러분은 기존 트래픽을 최대한 활용하고 새로운 트래픽을 확보하는데 추가 비용을 지출하지 않고도 전환율을 높일 수 있습니다. A/B 테스트는 때로, 웹사이트의 아주 사소한 변경사항이라도 전체 비즈니스 전환율을 크게 증가시키는 영향력을 보여줍니다. 이를 통해 기업은 더 나은 ROI를 확보할 수 있습니다.
이탈률 감소
웹사이트 성능을 판단하기 위해 추적해야 하는 가장 중요한 지표 중 하나는 이탈률인데요. 웹사이트의 이탈률이 높은 이유는 선택할 옵션이 너무 많거나, 기대치가 일치하지 않거나, 탐색이 혼란스럽거나 난잡하다는 것 등 여러가지가 있습니다. 웹사이트마다 서로 다른 목표를 제공하고 다양한 잠재고객 세그먼트에 맞춰져 있기에 이탈률을 줄이기에 딱 맞는 솔루션을 찾기는 힘듭니다.
그러나 A/B 테스트를 실행하면 이탈률을 줄이는데 도움을 줄 수 있습니다. A/B 테스트를 사용하면 가능한 최상의 버전을 찾을 때까지 다양한 요소를 변형해 테스트할 수 있기 때문인데요. ㈜성장에서 A/B 테스트를 꾸준히 진행하는 이유 중 하나라고 할 수 있습니다. 방문자의 접근을 저해하는 요소를 찾을 수 있을 뿐만 아니라 웹사이트 전반적인 경험을 개선할 수 있기 때문입니다. 이는 방문자들이 사이트에서 더 많은 시간을 보내고 유료 고객으로 전환하는데도 큰 도움이 됩니다.
통계적으로 유의미한 개선 달성
A/B 테스트는 주관적 판단이 개입할 여지가 없는, 데이터 기반의 전략입니다. 그렇기에 페이지에 소요된 시간, 숫자와 같은 통계적으로 중요한 개선 사항을 기반으로 효율적인 수행 방식을 신속하게 결정할 수 있습니다.
향후 비즈니스 이익 증대를 위해 웹사이트 재설계
재설계는 CTA 텍스트나 색상 조정과 같은 사소한 요소에서 웹사이트를 완전히 개편하는 것까지 다양한 범위를 포함합니다. A/B 테스트에서 한 가지 버전을 구현하기로 결정했다면, 항상 데이터를 기반으로 선택해야 합니다.
A/B 테스트 구현단계 소개
그렇다면 마케팅 캠페인에서 A/B 테스트를 어떻게 실행해야 할까요? 따라야 할 기본 프로세스를 소개합니다.
1단계 : 테스트할 캠페인 요소 결정
먼저 마케터는 무엇을 테스트할지 결정해야 합니다. 실적이 저조한 랜딩 페이지, 광고 혹은 과거 캠페인을 평가합니다. 그런 다음 웹 분석 및 기타 조사 도구를 사용해 실적이 좋지 않은 이유에 대한 가설을 제시합니다. 예를 들어, CTA 버튼이 너무 작지 않은지, 접근성이 떨어지는지를 생각해 볼 수 있습니다. 각 요소의 순위를 메기고 우선순위가 가장 높은 항목부터 테스트를 시작합니다.
2단계 : 해당 요소의 두 가지 변형 생성
테스트할 항목을 결정한 후 두 가지 변형을 만듭니다. 예를 들어, 두 가지 버전의 배너 광고를 디자인 합니다. 하나는 이미지가 있고 다른 하나는 이미지가 없습니다. 또는 기존 요소를 새로운 요소로 변형해 테스트 할 수 있습니다. 랜딩 페이지 하나를 그대로 두고 동일한 페이지와 비교할 수 있게끔 더 큰 CTA 버튼을 준비하는 것 등을 말합니다.
3단계 : 결과 측정 계획 수립
우선 캠페인 측정항목을 추적하기 위한 전략이 마련돼 있는지 확인해야 합니다. 판매량 증가, 뉴스레터 가입 증가, 게시물에 대한 댓글 증가 등 어떤 지표를 측정하고 있는지를 점검해야 합니다. 또한 통계적으로 어느정도의 변화가 중요한지 정의해야 합니다. 기존 캠페인 요소에 대해 테스트 하는 경우, 현재 성과를 기준으로 사용할 수도 있습니다.
4단계 : 테스트 타임라인 설정
테스트를 실행할 기간을 설정합니다. 테스트 기간이 너무 짧거나 길지 않은지 확인해야 합니다. 그렇지 않으면 부정확한 결과를 얻을 수도 있기 때문이죠.
5단계 : 테스트 실행
테스트를 실행할 차례입니다. 한 번에 하나의 요소를 테스트해 어떤 요소가 결과에 영향을 끼치는지 알 수 있습니다. 결과를 왜곡할 수 있는 요인을 방지하려면 두 변형을 동시에 실행합니다. 그룹이 각 버전의 크기, 인구 통계 및 기타 변수를 비슷하게 볼 수 있도록 노력해야 합니다. 이메일 마케팅을 테스트하는 경우, 유사하거나 동일한 인구통계를 가진 두 가지 테스트 고객 그룹을 생성할 수 있습니다.
꾸준해야 하는 A/B 테스트
결과 확인 및 변경 사항 구현
미리 설정한 시간 동안 실행된 테스트의 결과를 확인합니다. 테스트에서 확실한 결과가 나오지 않았을 결우 가설을 조정하고 다른 가설을 실행해야 합니다. 확실한 결과가 나타나면 실적이 더 좋은 대안을 구현합니다. 분석 데이터를 데이터 관리 플랫폼에 입력하면 현재 진행할 캠페인을 개선하는데 도움이 됩니다. 앞으로 진행 할 캠페인 구축에도 이를 활용할 수 있습니다.
최종 : 프로세스 반복 (㈜성장이 제시하는 방법)
마케터는 A/B 테스트를 계속해서 사용해 더 나은 성과를 위해 마케팅 캠페인을 계속해서 개선해야 합니다. 첫번째 테스트를 완료하면 우선순위 목록의 다음 요소로 나아가야 합니다. 또한 시간이 지남에 따라 추세와 고객 선호도 변경에 의해 A/B 테스트를 반복해야 합니다. 때로는 두 변경에 대한 결과가 매우 유사할 수도 있습니다. 이런 경우에 차별점을 찾으려 노력하기 보다는 테스트를 반복하는 게 더 가치 있을 수 있습니다.
이것이 ㈜성장이 A/B 테스트를 단기적인 캠페인으로 끝내지 않고, 다음과 같이 지속적이고 반복적으로 진행하는 이유입니다.
성장의 A/B 테스트, 작게 실험해서 데이터를 누적한다
작게 실험해서 데이터를 누적한다
㈜성장이 중요하게 생각하는 업무의 방향성입니다. 시작은 사소할 수 있으나, 꾸준하고 지속적으로 실험을 시도해 유의미한 데이터를 누적해가는 검증된 우리만의 전략이죠.
여러분의 이해를 돕기 위해 ㈜성장이 어떤 방식으로 A/B 테스트를 진행했는지 간략하게 소개해 드리도록 하겠습니다. 다음은 우리가 고객사에서 진행했던 A/B 테스트의 내용입니다.
최초 A/B 테스트
우리는 당시 고객사의 서비스를 도입할 방법을 크게 두가지로 구분지었습니다.
- 경영진 또는 의사결정권을 가진 고위 임원급의 직접 도입
- 일반 직장인 대상으로 바이럴 형성된 이후 회사 내 공유된 뒤 도입
이러한 가설을 세운 뒤, A/B 테스트를 진행했습니다. 진행 방식은 아래와 같습니다.
- 타겟팅 구분 : 의사결정권자 / 경영진 / 일반 직장인
- 기타 예산, 기간, 광고 소재 등은 전부 동일하게 설정
- 광고 소재는 “직원 복지를 위한 구독 서비스” 콘셉으로 콘텐츠 반응을 확인
이로 인해 얻을 수 있던 결과는 다음과 같았습니다.
- 의사결정권자, 경영진 대비 일반 직장인 타겟층에서 광고 반응 지표가 좋지 않았습니다.
- 서비스를 도입하는 과정에서 일반 직장인들로 하여금 언급량을 늘려 회사 내 공유되는 것보다,
직접적인 직원 복지를 알아보고자 하는 기업 의사결정권자 또는 경영진에서 더욱 효과적인 반응을 보았고, 추후 운영되는 광고 타겟팅을 조정하였습니다.
2차 A/B 테스트
1차에서 asd주로 의사결정권자 또는 경영진의 광고 반응이 좋다고 판단한 뒤, 우리는 실제 리드 유입 어떠한지 분석했습니다.
- 의사결정권자 / 경영진 타겟팅
- 메타 인스턴트 양식 활용하여 실제 문의(도입신청) 양식 제공
결과는 다음과 같았습니다.
- 경영진 타겟에서 전반적인 광고 클릭률, 클릭당 비용, 결과(인스턴트 양식 제출) 비용이 낮았습니다.
- 우리는 서비스를 도입하는 과정에서 경영진이 직접적으로 도입하는 것이 가장 많은 경우의 수라고 판단했습니다. 이를 통해 추후 메타 캠페인의 주요 타겟층을 조정할 수 있었습니다.
- 캠페인 조정 시점 이후 직전 대비 웹사이트 문의 결과가 140% 증가, 결과당 비용이 50% 이상 감소할 수 있었습니다.
A/B 테스트의 요점은 부분적으로 어떤 요소나 기능이 브랜드에 더 나은 서비스를 제공하는지 결정하는 것입니다.
또한 고객의 행동에 대한 이유를 이해하고 분석함으로써 얻은 중요한 통찰력에 집중해야 합니다.
마케터는 해당 데이터를 사용해 정보에 입각한 결정을 내리는 방법에 대한 기술을 가지게 된 셈이죠. 근시안적이지 않고 장기적으로 결과에 시간을 투자하고 피드백을 최대한 활용하는 마케터야 말로 제품과 브랜드를 성공의 길로 이끌 수 있기 때문이죠.
