> ## Content Index
> Fetch the complete content index at: https://zerodraftlab.com/llms.txt
> Use this file to discover other available public pages before exploring further.

# 귀속된 매출은 증분이 아니다
- URL: https://zerodraftlab.com/attribution-is-not-incrementality/
- Published: 2026-08-04T05:35:01.000Z
- Updated: 2026-09-15T08:35:13.000Z
- Description: eBay가 브랜드 검색광고를 끄자 포기한 클릭의 99.5%가 자연검색으로 돌아왔다. 대시보드의 귀속 매출과 실제 증분 매출은 서로 다른 질문에 답한다.
- Author: JooMong
- Tags: Business & Offers

광고 리포트의 마지막 줄에는 대개 이런 숫자가 있다. “이 캠페인이 만든 매출 3억.” 그 숫자는 광고를 클릭한 사람이 그 뒤에 결제한 금액의 합계다. 클릭이 결제를 만들었다는 증거는 아니다.

둘의 차이를 실제로 재본 회사가 있다. eBay는 2012년 3월 자사 브랜드가 들어간 검색어, 그러니까 “ebay”가 포함된 모든 쿼리의 검색광고를 Yahoo!와 MSN에서 전면 중단했다. Google에서는 계속 집행해 계절성 대조군으로 삼았다. 유료 클릭은 0으로 떨어졌고 자연검색 클릭이 그만큼 올라왔다.

[Thomas Blake, Chris Nosko, Steven Tadelis의 Econometrica 논문](https://doi.org/10.3982/ECTA12423?ref=zerodraftlab.com)에 그 결과가 정리돼 있다. 광고를 끄면서 포기한 클릭 트래픽의 99.5%가 자연검색으로 즉시 흡수됐다. 계절성을 보정한 뒤 실제로 사라진 클릭은 0.529%였다. 브랜드 검색광고에 귀속돼 있던 매출의 거의 전부가 광고 없이도 발생할 매출이었다는 뜻이다.

브랜드 검색어라 당연한 결과라고 볼 수도 있다. 그래서 같은 팀은 브랜드어를 뺀 나머지 키워드로 다시 실험했다. 미국 210개 시장권역(DMA) 가운데 68곳에서 60일 동안 비브랜드 키워드 입찰을 전부 멈추고, 사전 매출 추세가 맞춰진 대조 권역과 비교했다. 유료검색 체제 전체가 매출에 더한 몫은 0.66%, 95% 신뢰구간은 -0.42%에서 1.74%였다. 0을 포함한다.

## 같은 데이터가 4,173%와 -63%를 동시에 말한다

같은 논문에서 더 중요한 것은 실험값 자체가 아니라 관측값과의 거리다. 실험 이전 기간의 데이터로 매출을 광고비에 회귀시키면 투자수익률이 4,173%로 나온다. 지역과 날짜 고정효과를 넣어도 1,632%다. 실험이 만든 변동만 사용하면 같은 기간, 같은 회사의 수익률은 -63%가 된다. 95% 신뢰구간은 -124%에서 -3%로, 단기 양의 수익 가설이 기각된다.

이 격차는 측정 오차가 아니라 구조에서 나온다. 검색광고비는 클릭이 발생할 때만 지출된다. 클릭은 살 마음이 있는 사람이 한다. 그래서 광고비가 많이 나간 구간은 원래 구매 의도가 높았던 구간이다. 지출과 매출이 함께 움직이는 것은 광고가 매출을 만들어서가 아니라, 둘 다 같은 원인의 결과이기 때문이다.

이것이 검색광고만의 문제였다면 다른 채널로 피하면 된다. 그렇지 않다. Facebook에서 실행된 15건의 무작위 통제실험을 분석한 [Brett Gordon, Florian Zettelmeyer, Neha Bhargava, Dan Chapsky의 연구](https://doi.org/10.1287/mksc.2018.1135?ref=zerodraftlab.com)는 5억 건의 사용자-실험 관측치와 16억 회 노출을 놓고 실험 결과와 관측 기반 추정치를 나란히 비교했다. 일반적으로 관측 방법은 광고 효과를 과대추정했고, 절반의 연구에서 구매 성과의 추정 증가율이 실제값과 세 배 어긋났다. 광고주가 통상 확보할 수 있는 수준을 훨씬 넘는 개인 단위 변수를 통제한 뒤의 결과다.

귀속과 증분은 다른 질문에 답한다. 귀속은 구매 직전에 무엇이 있었는지를 기록한다. 증분은 그것이 없었다면 어땠을지를 묻는다. 대시보드는 앞의 질문만 답할 수 있고, 예산 결정은 뒤의 질문에 달려 있다.

그렇다면 귀속 숫자를 버리고 무엇을 믿어야 하나.

답은 더 정교한 귀속 모델이 아니다. 그 방향은 이미 대규모로 시험됐고 실패했다.

## 데이터를 늘려도 관측 모형은 실험을 복원하지 못한다

Gordon과 Robert Moakler, Zettelmeyer는 [663건의 대규모 실험](https://doi.org/10.1287/mksc.2022.1413?ref=zerodraftlab.com)으로 앞의 연구를 확장했다. 사용자 단위 변수를 5,000개 이상 확보하고, 이중 강건 기계학습(DML)과 층화 성향점수 매칭(SPSM)을 붙였다. DML이 SPSM보다는 나았지만 어느 쪽도 실험값을 제대로 복원하지 못했다.

실패의 원인은 알고리즘이다. 광고 플랫폼은 전환할 확률이 높은 사람에게 노출을 몰아준다. 노출 여부 자체가 결과의 예측치가 되도록 최적화된다는 뜻이다. 관측 모형이 통제해야 할 결정적 변수는 플랫폼 내부의 예측 점수인데, 그 점수는 광고주 데이터에 존재하지 않는다. Gordon 팀은 이 지점을 사고실험으로 정량화했다. 관측 추정치의 편향을 없애줄 가상의 미관측 변수를 시뮬레이션하고 그 설명력을 실제 관측 변수 전체의 설명력과 비교했더니, 일부 연구에서는 보유한 변수 전부를 합친 것보다 설명력이 큰 변수를 추가로 확보해야 실험값에 도달했다. 타깃팅이 정교해질수록 이 요구는 커진다. 즉 측정 기술의 발전이 문제를 완화하는 게 아니라 악화시킨다.

## 실험은 정답이지만 공짜는 아니다

그렇다고 모든 지출을 실험으로 검증하라는 결론은 성립하지 않는다. Randall Lewis와 Justin Rao는 [25건의 대형 광고 실험](https://doi.org/10.1093/qje/qjv023?ref=zerodraftlab.com)을 모아 그 한계를 계산했다. 총 280만 달러의 광고비가 투입된 실험들에서 투자수익률 신뢰구간의 폭은 중앙값 기준 100%p를 넘었다. 개인의 구매 금액이 광고비 대비 워낙 변동이 커서, 변동계수 10이 흔하게 관측된다. 의미 있는 정밀도를 얻으려면 1,000만 person-week 규모가 필요해지는 경우가 나온다.

여기서 나오는 결론은 “실험을 항상 하라”가 아니라 “실험을 아무 데나 쓰지 말라”다. 소재 A와 B 중 무엇이 나은지는 실험으로 답하기에 너무 비싼 질문일 때가 많다. 반대로 “이 채널 전체를 유지할 것인가”는 효과 크기가 크고 결정의 금액도 커서 실험이 성립한다. eBay가 검증한 것도 소재가 아니라 채널의 존재 여부였다.

## “광고가 무용하다”는 반대 방향의 오독이다

eBay 결과를 모든 회사에 옮기면 틀린다. 같은 논문의 이질성 분석이 그 경계를 보여준다. 광고 효과는 이전 1년간 구매 이력이 없는 사용자에게서 가장 컸고, 구매 빈도가 올라갈수록 빠르게 0에 수렴했다. 문제는 광고비 대부분이 후자, 즉 이미 eBay를 알고 이미 사던 사람들에게 지출됐다는 점이다. 평균 수익률이 음수가 된 이유가 여기 있다. 채널이 무력한 것이 아니라, 이미 아는 사람에게 다시 알리는 데 돈이 흘러간 것이다.

그래서 이 연구는 광고 무용론이 아니라 정보 제공 관점의 근거로 읽힌다. 아직 그 브랜드를 모르는 사람에게 존재를 알릴 때 광고는 작동한다. 반대로 대부분의 잠재 고객이 이미 이름을 아는 브랜드에서는, 특히 브랜드 검색어에서는 지출의 상당 부분이 이미 오기로 한 사람을 가로채는 데 쓰인다. 자기 회사가 어느 쪽인지에 따라 같은 채널의 판단이 갈린다.

브랜드 키워드를 방어 목적으로 산다는 반론도 여기서 검증 대상이 된다. 경쟁사가 우리 브랜드어에 입찰하는 상황은 eBay 실험 기간에도 존재했고, 그 조건에서도 99.5%가 회수됐다. 다만 자연검색 결과에서 자사 페이지가 최상단이 아니거나, 브랜드어에 실제로 경쟁 입찰이 붙는 카테고리라면 결과는 달라질 수 있다. 확인 방법은 논쟁이 아니라 같은 절차다. 기간과 지역을 나눠 껐다 켜보고 매출 차이를 본다.

## 예산 단위를 끌 수 있는 단위로 바꾸는 일

실무에서 이 결론이 요구하는 변화는 도구가 아니라 예산 구조에 있다. 대부분의 광고 계정은 “끌 수 없는 단위”로 짜여 있다. 전국 단일 캠페인, 상시 집행, 성과는 플랫폼 귀속으로 정산. 이 구조에서는 증분을 측정할 여지가 애초에 없다. eBay 실험이 가능했던 이유는 지역 단위 입찰로 트래픽의 30%를 떼어낼 수 있었기 때문이다.

그러니 순서는 반대가 된다. 측정 방법을 고르기 전에, 끌 수 있는 경계를 먼저 만든다. 지역, 시간대, 청중 세그먼트 중 무엇이든 일정 비율을 상시 홀드아웃으로 남기면 그 자체가 상시 측정 장치가 된다. 그 위에서 귀속 숫자는 예산 근거에서 운영 신호로 강등된다. 어떤 소재와 키워드가 반응을 얻는지 보는 데는 여전히 유용하고, 채널에 얼마를 쓸지 결정하는 데는 쓰지 않는다.

이 전환에서 가장 먼저 부딪히는 것은 데이터가 아니라 조직의 손익 감각이다. 광고를 껐는데 매출이 그대로면 담당자는 성과를 잃은 것처럼 보인다. 실제로는 같은 매출을 더 적은 비용으로 만든 것이고, 그 지출이 어디로 옮겨가야 하는지 알아낸 것이다. 이 해석을 조직이 공유하지 못하면 어떤 실험 설계도 오래 살아남지 못한다.

시작점은 대체로 명확하다. 자사 브랜드 키워드다. 클릭당 비용이 가장 낮아 효율 지표가 가장 좋아 보이고, 귀속 매출이 가장 크게 잡히며, 증분이 가장 적을 가능성이 높은 지출이 같은 자리에 있다.

---

주요 출처: Thomas Blake, Chris Nosko, Steven Tadelis, [Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment](https://doi.org/10.3982/ECTA12423?ref=zerodraftlab.com), Econometrica 83(1), 2015([NBER Working Paper 20171](https://www.nber.org/papers/w20171?ref=zerodraftlab.com)); Brett R. Gordon, Florian Zettelmeyer, Neha Bhargava, Dan Chapsky, [A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook](https://doi.org/10.1287/mksc.2018.1135?ref=zerodraftlab.com), Marketing Science 38(2), 2019; Brett R. Gordon, Robert Moakler, Florian Zettelmeyer, [Close Enough? A Large-Scale Exploration of Non-Experimental Approaches to Advertising Measurement](https://doi.org/10.1287/mksc.2022.1413?ref=zerodraftlab.com), Marketing Science 42(4), 2023; Randall A. Lewis, Justin M. Rao, [The Unfavorable Economics of Measuring the Returns to Advertising](https://doi.org/10.1093/qje/qjv023?ref=zerodraftlab.com), Quarterly Journal of Economics 130(4), 2015\. 인용한 수치는 각 논문이 보고한 해당 실험의 값이며, 다른 브랜드와 기간에 그대로 적용되는 상수가 아니다.