평균으로의 회귀(Regression to the Mean)란 무엇인가: 스타트업 지표와 A/B 테스트가 만드는 가짜 성과

지표가 갑자기 좋아졌다면 조치가 효과를 본 걸까요

결론부터 말하면 극단적으로 나빴던 숫자는 아무것도 하지 않아도 다음번에 좋아질 가능성이 높습니다. 측정값이 실력과 운의 합으로 이루어져 있기 때문입니다. 프랜시스 골턴(Francis Galton)이 1886년 논문에서 부모와 자녀의 키를 비교하며 처음 정리한 이 현상을 평균으로의 회귀(Regression to the Mean)라고 부릅니다. 스타트업에서 이 함정은 늘 같은 자리에 있습니다. 가장 나쁜 세그먼트를 골라 개선 조치를 넣고, 다음 주 숫자가 올라가면 조치가 통했다고 결론 내리는 순간입니다. 대조군 없이 얻은 개선치의 상당 부분은 조치가 아니라 통계가 만들어낸 것입니다.

이탈 위험 유저에게만 쿠폰을 뿌렸던 기록

한 B2C 구독 서비스 팀의 사례입니다. 리텐션이 떨어지자 성장팀은 최근 4주 사용량이 하위 10%인 유저를 뽑아 복귀 쿠폰을 보냈습니다. 대상은 약 3,200명이었고 대조군은 두지 않았습니다. 이유도 납득이 됩니다. "위험한 유저에게 쿠폰을 안 주는 건 손해 아닌가요"라는 말이 회의에서 나왔습니다.

다음 주 결과는 좋았습니다. 대상 유저의 주간 활성 비율이 이전 대비 눈에 띄게 올라갔습니다. 팀은 캠페인 성공으로 정리하고 예산을 세 배로 늘렸습니다.

문제가 드러난 건 한 달 뒤였습니다. 예산을 늘린 두 번째 캠페인에서 효과가 절반 이하로 떨어졌습니다. 이상하게 여긴 분석 담당자가 과거 데이터로 검증을 돌렸습니다. 쿠폰을 받지 않았던 과거 동일 조건 유저, 즉 하위 10% 사용량을 기록한 뒤 아무 조치도 받지 않은 집단의 다음 주 활성 비율을 뽑아 본 것입니다. 그 집단도 올라가 있었습니다. 첫 캠페인이 만든 개선치의 상당 부분은 쿠폰이 아니라 회귀였습니다.

여기서 배울 점은 쿠폰이 무용하다는 게 아닙니다. 대조군 없이 극단값 집단을 대상으로 한 개선치는 해석할 수 없다는 것입니다. 숫자가 올라간 건 사실이지만 그중 얼마가 조치의 몫인지 알 방법이 없었습니다. 이 팀은 이후 실험 설계 규칙을 하나 추가했습니다. "하위 N% 또는 상위 N%를 기준으로 대상을 뽑는 캠페인은 반드시 같은 조건의 홀드아웃을 남긴다."

평균으로의 회귀란 무엇인가

골턴은 1886년 발표한 「유전적 신장에서 평범으로의 회귀」에서 부모 키와 성인 자녀 키를 대조했습니다. 결과는 직관과 어긋났습니다. 아주 큰 아버지의 아들은 아버지 보다 작았고 아주 작은 아버지의 아들은 아버지보다 컸습니다. 세대를 거치며 키가 평균 쪽으로 끌려간다는 뜻인데요, 골턴은 처음에 이것을 유전 법칙으로 해석했습니다.

지금은 다르게 봅니다. 이것은 유전이 아니라 측정의 성질입니다. 어떤 값이 극단적으로 관측됐다면 그 안에는 지속적인 요인과 일시적인 요인이 섞여 있습니다. 다음 측정에서 지속적 요인은 남지만 일시적 요인은 다시 뽑히지 않습니다. 그래서 값이 평균 쪽으로 이동합니다. 골턴 자신이 상관·사분위·백분위 같은 통계 개념을 만들어낸 인물인데도 이 현상의 정체를 정확히 파악하는 데는 시간이 걸렸습니다.

이 현상을 인과로 착각하는 오류를 회귀 오류(regression fallacy)라고 부릅니다. 가장 유명한 사례는 대니얼 카너먼(Daniel Kahneman)이 1960년대 이스라엘 공군 비행 교관들과 겪은 일입니다. 카너먼은 칭찬이 질책보다 효과적이라고 설명했는데 한 베테랑 교관이 반박했습니다. 착륙을 훌륭하게 한 훈련생을 칭찬하면 다음 착륙이 나빠지고, 엉망으로 착륙한 훈련생에게 소리를 지르면 다음이 좋아진다는 것입니다. 교관의 관찰은 사실이었습니다. 해석이 틀렸습니다. 유난히 좋았던 착륙 다음에는 평균에 가까운 착륙이 오고 유난히 나빴던 착륙 다음에도 평균에 가까운 착륙이 옵니다. 교관은 회귀를 자기 피드백의 효과로 읽었습니다.

스포츠에서도 같은 착각이 반복됩니다. 잡지 표지에 실린 선수가 이후 부진해지는 이른바 표지 징크스가 대표적입니다. 표지에 실릴 만큼 성적이 좋았다는 건 그 시점 성과가 자기 평균보다 한참 위였다는 뜻입니다. 다음 시즌 성적이 내려오는 건 저주가 아니라 산수입니다. 스타트업에서 "미디어에 크게 다뤄진 뒤 성장이 꺾였다"는 이야기가 나올 때도 먼저 이 계산을 해 볼 필요가 있습니다.

관측값은 실력과 운의 합이다

회귀의 크기를 결정하는 것은 실력과 운의 비율입니다. 관측값을 이렇게 쪼개 보면 이해가 쉽습니다.

관측 성과 = 지속적 요인(실력·제품력·시장) + 일시적 요인(운·계절성·측정 오차)

일시적 요인의 비중이 클수록 회귀 폭이 커집니다. 통계적으로는 두 시점 측정값의 상관계수가 낮을수록 회귀가 심합니다. 상관이 1이면 회귀가 없고 0이면 다음 값은 그냥 전체 평균 쪽으로 완전히 돌아갑니다.

두 시점 상관	일시적 요인 비중	회귀 폭	실무 예시
0.9 이상	매우 낮음	거의 없음	대규모 서비스의 월 MAU
0.6~0.8	낮음	약함	성숙한 채널의 주간 전환율
0.3~0.5	높음	강함	신규 채널 CAC, 소규모 세그먼트
0.3 미만	매우 높음	매우 강함	개별 영업사원 월 성과, 소액 광고 캠페인

여기서 실무적으로 중요한 함의가 나옵니다. 표본이 작을수록 회귀가 심합니다. 일 방문자 200명인 페이지의 전환율은 며칠 사이 두 배로 튀었다 내려옵니다. 이 변동을 개선과 악화로 읽으면 팀은 존재하지 않는 원인을 계속 찾게 됩니다.

반대 방향의 오류도 있습니다. 진짜 개선을 회귀로 착각해 좋은 조치를 기각하는 경우입니다. 그래서 회귀는 "숫자를 믿지 말라"는 교훈이 아니라 비교 대상을 제대로 두라는 설계 요구입니다.

스타트업에서 회귀가 만드는 다섯 가지 착각

극단값 세그먼트를 골라 조치를 넣는다

앞의 쿠폰 사례가 그대로 해당됩니다. 이탈 위험 상위 집단, 최저 만족도 응답자, 최악의 성과 매장처럼 극단값으로 뽑은 집단은 무조건 좋아집니다. 조치를 넣지 않아도 좋아집니다. 이 집단을 다룰 때는 홀드아웃이 선택이 아니라 필수입니다.

A/B 테스트를 이긴 순간에 멈춘다

실험 초반에는 표본이 적어 차이가 크게 벌어집니다. 이때 승리를 확인하고 종료하면 그 차이의 대부분이 소음입니다. 조기 종료 문제는 회귀와 결합해 특히 위험합니다. 승자로 뽑힌 안이 전체 적용 후 성과가 떨어지는 전형적인 경로입니다. 사전에 정한 표본 크기와 기간을 채우는 규칙이 해답입니다.

결과를 본 뒤 세그먼트를 쪼갠다

전체 결과가 무승부일 때 "안드로이드 신규 유저에서는 이겼다"를 찾아내는 작업입니다. 쪼갤수록 표본이 작아지고 표본이 작아지면 극단값이 나오기 쉽습니다. 사후에 발견한 세그먼트 효과는 가설로만 취급하고 별도 실험으로 재검증해야 합니다.

최저 만족도 응답자에게만 개선을 약속한다

NPS나 CSAT 조사에서 최저점을 준 고객만 따로 모아 후속 조치를 하고 재조사하면 점수는 거의 항상 올라갑니다. 조치가 좋았을 수도 있고 그날 기분이 유난히 나빴던 응답이 평균으로 돌아온 것일 수도 있습니다. 두 가능성을 구분하려면 같은 최저점 집단 일부를 조치 없이 재조사해야 합니다. 실무에서 이 설계를 넣는 팀은 드물기 때문에 대부분의 고객 만족 개선 수치는 실제 효과보다 부풀려져 있습니다.

최고 성과 채널에 예산을 몰아준다

지난달 ROAS가 가장 좋았던 광고 세트에 예산을 세 배 넣는 결정은 회귀와 정면으로 충돌합니다. 그 세트가 1위였던 이유 중 일부는 운이었고 예산이 늘면 오히려 효율이 떨어지는 구조적 요인까지 겹칩니다. 여러 달 성과의 평균과 변동성을 함께 보는 습관이 필요합니다.

급성장 뒤 둔화를 사람 탓으로 돌린다

분기 성장률이 유난히 높았던 다음 분기는 평범할 확률이 높습니다. 이때 새로 들어온 마케팅 리드가 책임을 지는 상황이 자주 벌어집니다. 반대로 최악의 분기 직후 부임한 사람은 실력 이상으로 좋은 평가를 받습니다. 채용과 평가에서 회귀는 사람에 대한 오판으로 이어집니다.

회귀에 속지 않는 실험 설계 네 단계

1단계, 극단값 기준으로 대상을 뽑았는지 확인합니다. 대상 선정 조건에 "상위·하위 N%", "최저 점수", "이탈 위험 높음"이 들어가 있으면 회귀가 반드시 개입합니다. 이 체크만으로 잘못된 승리 선언의 절반은 걸러집니다.

2단계, 같은 조건의 홀드아웃을 남깁니다. 대상자의 10~20%를 조치 없이 남겨 두면 됩니다. 손해처럼 느껴지지만 이 집단이 없으면 이후 모든 캠페인의 예산 근거가 사라집니다. 홀드아웃을 남기기 어려운 상황이라면 최소한 과거 동일 조건 집단의 자연 변동치를 뽑아 비교선으로 삼으세요.

3단계, 표본 크기와 기간을 사전에 고정합니다. 최소 검출 효과를 정하고 필요한 표본 수를 계산한 뒤 시작합니다. 중간 결과를 보는 것 자체는 괜찮지만 그걸 근거로 종료하지 않는 규칙이 중요합니다.

4단계, 같은 지표를 여러 기간으로 반복 측정합니다. 한번의 개선은 회귀와 구분되지 않습니다. 세 기간 연속으로 방향이 유지되면 신뢰도가 크게 올라갑니다. 지표 대시보드에 단일 시점 값 대신 4주 이동평균과 변동 범위를 같이 띄워 두는 것도 좋은 방법입니다.

한 가지 덧붙이면 조직 문화 차원의 장치도 필요합니다. 회고에서 "왜 좋아졌는가"를 묻기 전에 "가만히 뒀으면 어땠을까"를 먼저 묻는 습관입니다. 이 질문 하나가 팀이 존재하지 않는 성공 공식을 축척하는 일을 막아 줍니다.

회귀를 감지하는 가장 간단한 신호는 개선 폭이 처음 조치에서 가장 크고 이후 급격히 줄어드는 패턴입니다. 조치의 진짜 효과는 보통 반복해도 비슷하게 나옵니다. 반면 회귀에서 얻은 개선은 두 번째부터 사라집니다. 앞의 쿠폰 사례에서 두 번째 캠페인 효과가 절반 이하로 떨어진 것이 정확히 이 신호였습니다. 캠페인 성과 보고서를 볼 때 회차별 효과 추이를 한 줄 그려 보는 것만으로 많은 오판을 피할수 있습니다.

FAQ

평균으로의 회귀와 도박사의 오류는 어떻게 다른가요?

방향이 반대입니다. 도박사의 오류는 독립 시행에서 "빨간색이 다섯 번 나왔으니 이번엔 검은색"이라고 믿는 착각입니다. 실제로는 아무 영향이 없습니다. 평균으로의 회귀는 실력과 운이 섞인 측정값에서 실제로 일어나는 통계적 경향입니다. 전자는 없는 패턴을 만들어내는 오류이고 후자는 있는 현상을 인과로 잘못 해석할 때 문제가 됩니다.

회귀가 있다면 A/B 테스트 결과는 신뢰할 수 없는 건가요?

그렇지 않습니다. 무작위 배정이 제대로 된 A/B 테스트는 회귀에 강합니다. 실험군과 대조군에 같은 크기의 회귀가 작용하므로 두 집단의 차이에서 상쇄됩니다. 문제가 되는 건 대조군이 없거나 대상을 극단값 기준으로 뽑았거나 사후에 세그먼트를 쪼갠 경우입니다.

표본이 작은 초기 스타트업은 어떻게 해야 하나요?

개별 지표의 주간 변동을 해석하지 않는 것이 출발점입니다. 대신 관측 기간을 늘리고 비교 단위를 키우세요. 코호트 단위로 묶어 보거나 4주 이동평균으로 보는 방법이 현실적입니다. 정량 표본이 부족한 구간에서는 사용자 인터뷰 같은 정성 근거의 비중을 늘리는 편이 오판 위험이 낮습니다.

성과 평가에서 회귀를 어떻게 보정하나요?

단일 기간 성과 대신 여러 기간 성과를 함께 봅니다. 통제 불가능한 외부 요인을 평가에서 분리하는 것이 기본입니다. 같은 직무 내 상대 순위보다 절대 기준의 행동 지표를 함께 보는 방식도 도움이 됩니다. 특히 최고 성과자와 최저 성과자에 대한 판단은 다음 기간 결과를 한 번 더 확인한 뒤 내리는 편이 안전합니다.

회귀를 역으로 활용할 수 있나요?

가능합니다. 지표가 유난히 나쁜 시점에 큰 비용의 조치를 넣지 않고 기다리면 자연 회복분을 얻습니다. 반대로 유난히 좋은 시점의 성과를 기준으로 목표를 세우면 다음 기간에 실패할 확률이 높습니다. 목표 설정과 예산 배분에서 극단값을 기준선으로 쓰지 않는 것만으로 의사결정 품질이 올라갑니다.