귀속된 매출은 증분이 아니다

광고 리포트의 마지막 줄에는 대개 이런 숫자가 있다. “이 캠페인이 만든 매출 3억.” 그 숫자는 광고를 클릭한 사람이 그 뒤에 결제한 금액의 합계다. 클릭이 결제를 만들었다는 증거는 아니다.

둘의 차이를 실제로 재본 회사가 있다. eBay는 2012년 3월 자사 브랜드가 들어간 검색어, 그러니까 “ebay”가 포함된 모든 쿼리의 검색광고를 Yahoo!와 MSN에서 전면 중단했다. Google에서는 계속 집행해 계절성 대조군으로 삼았다. 유료 클릭은 0으로 떨어졌고 자연검색 클릭이 그만큼 올라왔다.

Thomas Blake, Chris Nosko, Steven Tadelis의 Econometrica 논문에 그 결과가 정리돼 있다. 광고를 끄면서 포기한 클릭 트래픽의 99.5%가 자연검색으로 즉시 흡수됐다. 계절성을 보정한 뒤 실제로 사라진 클릭은 0.529%였다. 브랜드 검색광고에 귀속돼 있던 매출의 거의 전부가 광고 없이도 발생할 매출이었다는 뜻이다.

브랜드 검색어라 당연한 결과라고 볼 수도 있다. 그래서 같은 팀은 브랜드어를 뺀 나머지 키워드로 다시 실험했다. 미국 210개 시장권역(DMA) 가운데 68곳에서 60일 동안 비브랜드 키워드 입찰을 전부 멈추고, 사전 매출 추세가 맞춰진 대조 권역과 비교했다. 유료검색 체제 전체가 매출에 더한 몫은 0.66%, 95% 신뢰구간은 -0.42%에서 1.74%였다. 0을 포함한다.

같은 데이터가 4,173%와 -63%를 동시에 말한다

같은 논문에서 더 중요한 것은 실험값 자체가 아니라 관측값과의 거리다. 실험 이전 기간의 데이터로 매출을 광고비에 회귀시키면 투자수익률이 4,173%로 나온다. 지역과 날짜 고정효과를 넣어도 1,632%다. 실험이 만든 변동만 사용하면 같은 기간, 같은 회사의 수익률은 -63%가 된다. 95% 신뢰구간은 -124%에서 -3%로, 단기 양의 수익 가설이 기각된다.

이 격차는 측정 오차가 아니라 구조에서 나온다. 검색광고비는 클릭이 발생할 때만 지출된다. 클릭은 살 마음이 있는 사람이 한다. 그래서 광고비가 많이 나간 구간은 원래 구매 의도가 높았던 구간이다. 지출과 매출이 함께 움직이는 것은 광고가 매출을 만들어서가 아니라, 둘 다 같은 원인의 결과이기 때문이다.

이것이 검색광고만의 문제였다면 다른 채널로 피하면 된다. 그렇지 않다. Facebook에서 실행된 15건의 무작위 통제실험을 분석한 Brett Gordon, Florian Zettelmeyer, Neha Bhargava, Dan Chapsky의 연구는 5억 건의 사용자-실험 관측치와 16억 회 노출을 놓고 실험 결과와 관측 기반 추정치를 나란히 비교했다. 일반적으로 관측 방법은 광고 효과를 과대추정했고, 절반의 연구에서 구매 성과의 추정 증가율이 실제값과 세 배 어긋났다. 광고주가 통상 확보할 수 있는 수준을 훨씬 넘는 개인 단위 변수를 통제한 뒤의 결과다.

귀속과 증분은 다른 질문에 답한다. 귀속은 구매 직전에 무엇이 있었는지를 기록한다. 증분은 그것이 없었다면 어땠을지를 묻는다. 대시보드는 앞의 질문만 답할 수 있고, 예산 결정은 뒤의 질문에 달려 있다.

그렇다면 귀속 숫자를 버리고 무엇을 믿어야 하나.