노이즈(Noise)란 무엇인가요? 같은 사례에 보험료가 55% 갈리는 잡음과 스타트업 채용·평가 결정 위생 완전 가이드

같은 자료를 봤는데 사람마다 결정이 갈리는 이유는 무엇일까요?

결론부터 말하면 판단 오류에는 방향이 있는 오류와 흩어짐이 있는 오류 두 종류가 있습니다. 스타트업이 놓치는 쪽은 후자입니다. 대니얼 카너먼과 올리비에 시보니, 캐스 선스타인이 정리한 노이즈(Noise)는 같은 사안을 두고 판단이 일관되지 않게 흩어지는 현상을 말합니다. 한 보험사에서 언더라이터들에게 동일한 사례를 주고 보험료를 산정하게 했을 때 두 사람 사이 차이의 중위값은 55%였습니다. 미국 연방판사 208명을 대상으로 한 실험에서는 같은 사건의 형량이 15일부터 15년까지 벌어졌습니다. 채용과 성과평가, 우선순위 심사가 소수의 판단에 얹혀 있는 초기 조직에서 노이즈는 편향보다 비용이 큰데도 거의 측정되지 않습니다. 시작은 잡음을 재보는 일입니다.

같은 자료를 봤는데 사람마다 결정이 갈리는 이유는 무엇일까요?
같은 지원자 영상을 두 번 평가해 본 실험
편향과 노이즈는 어떻게 다른가요
노이즈의 세 가지 얼굴
스타트업에서 노이즈가 비싸지는 자리
노이즈 감사: 조직의 잡음을 측정하는 방법
결정 위생을 적용하는 네 단계
FAQ
같이 읽으면 좋은 것들

판단이 흩어진다는 문제

조직의 의사결정을 이야기할 때 대부분의 논의는 편향에 집중됩니다. 확증 편향, 손실 회피, 앵커링처럼 이름 붙은 인지 편향을 줄이려는 노력입니다. 편향은 판단이 한쪽으로 치우치는 현상이라 방향이 보이고 이야기하기도 쉽습니다.

노이즈는 성격이 다릅니다. 방향이 없습니다. 어떤 면접관은 후하고 어떤 면접관은 박합니다. 같은 사람도 오전과 오후가 다릅니다. 평균을 내면 상쇄되어 사라진 것처럼 보이기 때문에 대시보드에서 드러나지 않습니다. 그런데 개별 결정의 품질은 그만큼 낮아져 있습니다. 채용 한 건, 승진 한 건은 평균으로 처리되지 않고 한 사람의 인생에 그대로 적용되기 때문입니다.

같은 지원자 영상을 두 번 평가해 본 실험

저희가 자문한 시리즈 A 단계 스타트업에서 작은 실험을 했습니다. 이 회사는 6개월 동안 백엔드 엔지니어를 12명 채용하려던 중이었습니다. 그런데 최종 합격률이 면접관 조합에 따라 크게 달라진다는 의심이 있었습니다.

동의를 받은 지원자 네 명의 기술 면접 녹화 영상을 준비했습니다. 면접관 여섯 명이 각자 다섯 개 항목을 10점 척도로 채점했습니다. 2주 뒤 같은 여섯 명에게 같은 영상을 순서만 바꿔 다시 보여주고 다시 채점하게 했습니다. 본인들에게는 "다른 지원자 영상"이라고만 알렸습니다.

결과는 불편했습니다. 같은 지원자에 대한 면접관 간 총점 차이는 최대 23점이었습니다. 같은 면접관이 같은 영상에 준 1차와 2차 점수 차이도 평균 6.8점이었습니다. 한 면접관은 1차에 불합격 의견을 냈던 지원자에게 2차에 합격 의견을 냈습니다. 채점 기준이 달라진 것이 아니라 그날의 상태가 달라진 것입니다.

더 인상적이었던 것은 반응입니다. 결과를 공유한 자리에서 한 면접관이 말했습니다. "제 점수가 흔들린 게 문제라기보다, 저희가 이걸 한 번도 확인해 본 적이 없다는 게 문제네요." 이 회사는 이후 채용 프로세스를 세 군데 고쳤습니다. 항목별 독립 채점, 논의 전 개별 제출, 기준 문장의 구체화였습니다. 다음 분기 재현 실험에서 면접관 간 차이는 23점에서 11점으로 줄었습니다.

편향과 노이즈는 어떻게 다른가요

카너먼 팀은 사격 비유를 씁니다. 과녁을 향해 여러 발을 쏘았을 때 탄착군이 한쪽으로 치우친 것이 편향입니다. 탄착군이 넓게 퍼진 것이 노이즈입니다. 둘은 독립적으로 발생하며 둘 다 오차입니다.

구분	편향(Bias)	노이즈(Noise)
성격	방향이 있는 평균적 치우침	방향 없는 산포
드러나는 방식	결과를 보면 짐작 가능	같은 사안을 여러 번 봐야 드러남
측정	실제값과 비교 필요	실제값 없이도 측정 가능
흔한 대응	편향 교육, 체크리스트	기준 통일, 독립 평가, 집계
조직의 인식	자주 논의됨	거의 논의되지 않음

주목할 점은 노이즈가 정답을 몰라도 측정된다는 것입니다. 지원자가 실제로 좋은 인재였는지 몰라도, 같은 지원자에 대한 평가가 흩어져 있다는 사실만으로 오차의 존재가 확정됩니다. 그래서 노이즈는 편향보다 먼저 손댈 수 있는 문제입니다.

노이즈의 세 가지 얼굴

노이즈를 줄이려면 어떤 종류인지 먼저 구분해야 합니다. 처방이 달라지기 때문입니다.

수준 노이즈는 평가자의 전반적인 눈높이 차이입니다. 어떤 팀장은 늘 4점대를 주고 어떤 팀장은 늘 3점대를 줍니다. 척도의 의미를 문장으로 고정하거나 평가자별 분포를 공유하면 줄어듭니다.
패턴 노이즈는 특정 유형에 대한 개인의 고유한 반응입니다. 어떤 면접관은 발표를 잘하는 지원자에게 후하고 다른 면접관은 코드 가독성에 민감합니다. 평가 항목을 쪼개 각자 강점 영역을 담당하게 하면 완화됩니다.
상황 노이즈는 같은 사람이 시점에 따라 달라지는 흔들림입니다. 피로, 순서 효과, 직전 사례의 영향이 여기 들어갑니다. 판단 건수를 제한하고 시간을 분산하는 방식이 효과적입니다.

앞서 소개한 실험에서 면접관 간 23점 차이는 수준 노이즈와 패턴 노이즈가 섞인 결과였습니다. 같은 면접관의 6.8점 차이는 상황 노이즈였습니다. 조직에서는 대체로 상황 노이즈가 가장 과소평가됩니다. 사람들은 자기 판단이 어제와 같을것이라고 강하게 믿습니다.

스타트업에서 노이즈가 비싸지는 자리

노이즈는 판단이 반복되고 기록되지 않는 곳에 쌓입니다. 초기 조직에는 그런 자리가 많습니다.

첫째는 채용입니다. 인원 규모가 작을 때 한 명의 채용 실패가 팀 성과에 미치는 영향이 큽니다. 면접 점수가 흩어져있으면 합격선이 사실상 추첨이 됩니다.

둘째는 성과평가와 보상입니다. 평가자 눈높이가 다른 상태로 상대평가를 돌리면 소속 팀이 성과보다 중요한 변수가 됩니다. 구성원이 가장 빠르게 눈치채는 불공정이기도 합니다.

셋째는 제품 우선순위 심사입니다. 같은 기능 제안이 어떤 주에는 통과하고 다른 주에는 반려됩니다. 심사 기준이 문장으로 존재하지 않고 참석자 구성에 따라 결과가 바뀌면 조직은 기준 대신 정치를 학습합니다.

넷째는 고객 응대와 환불 판단입니다. 담당자에 따라 같은 요청의 결과가 달라지면 고객은 '운'을 학습합니다. 커뮤니티에 "상담원 바꿔서 다시 문의하면 된다"는 공유가 돌기 시작하면 이미 노이즈가 비용으로 전환된 상태입니다.

다섯째는 데이터 해석입니다. 같은 A/B 테스트 결과를 두고 회의마다 다른 결론이 나오는 경우입니다. 판정 기준을 사전에 적지 않으면 결과를 본 뒤에 기준이 만들어집니다.

노이즈 감사: 조직의 잡음을 측정하는 방법

노이즈 감사는 어렵지 않습니다. 같은 사안을 여러 사람이 독립적으로 판단하게 하고 결과의 흩어짐을 보는 것이 전부입니다.

절차는 이렇습니다. 실제로 있었던 사례 대여섯건을 고릅니다. 정답이 알려지지 않은 사례가 좋습니다. 평가자들에게 각자 판단하도록 하되 서로 논의하지않게 합니다. 같은 사례에 대한 점수의 표준편차와 최대-최소 폭을 계산합니다. 2~3주 뒤 같은 사례를 순서를 바꿔 다시 제시하면 상황 노이즈까지 분리됩니다.

감사 항목	측정값	해석
평가자 간 산포	같은 사례 점수의 표준편차	수준·패턴 노이즈 규모
동일 평가자 재현성	1차와 2차 점수 차이	상황 노이즈 규모
결정 뒤집힘	합·불 판정이 바뀐 비율	실제 의사결정 영향
항목별 산포	항목 단위 표준편차	기준이 모호한 항목 식별

이 감사의 목적은 사람을 평가하는 것이 아닙니다. 그렇게 받아들여지면 다음 감사가 불가능해집니다. 실험 전에 "개인 결과는 공유하지 않는다"고 명시하고 집계 결과만 다루는 편이 좋습니다.

감사 결과를 공유할 때의 주의점

숫자를 그대로 띄우면 방어가 먼저 올라옵니다. 저희는 순서를 바꿔 진행했습니다. 먼저 참가자들에게 "같은 사례에 대한 우리 점수 차이가 몇 점쯤일 것 같은가"를 예측하게 했습니다. 예측 평균은 5점이었고 실제는 23점이었습니다. 자기 예측과 실제의 간격을 먼저 보면 문제는 개인의 실력이 아니라 프로세스의 부재로 인식됩니다. 이 한 단계가 이후 프로세스 변경에 대한 동의를 크게 앞당겼습니다.

결정 위생을 적용하는 네 단계

카너먼 팀이 제시한 결정 위생(decision hygiene)의 제1원칙은 판단의 목표가 개인 의견의 표현이 아니라 정확도라는 것입니다. 손 씻기처럼 어떤 균을 막는지 모르는 상태에서도 효과를 내는 예방 조치라는 뜻으로 이 이름을 붙였습니다.

1단계는 판단을 쪼개는 것입니다. 하나의 종합 인상 대신 독립된 항목으로 나눕니다. 채용이라면 문제 해결, 코드 품질, 협업 방식, 학습 속도처럼 구분하고 각 항목을 따로 채점합니다. 항목 간 영향을 줄이는 것이 목적입니다.

2단계는 독립성을 확보하는 것입니다. 논의 전에 각자 점수를 제출하게 합니다. 먼저 말한 사람의 의견이 나머지를 끌어당기는 현상을 막는 장치입니다. 제출 후에 토론하면 정보 공유의 이점은 유지하면서 쏠림은 줄입니다.

3단계는 상대 판단을 쓰는 것입니다. "이 지원자는 7점"보다 "지금까지 본 지원자 중 상위 20%"가 노이즈가 적습니다. 절대 척도보다 서열 비교가 사람 사이에서 더 안정적으로 작동합니다.

4단계는 기준을 문장으로 고정하는 것입니다. 각 점수대가 어떤 상태를 뜻하는지 예시와 함께 적어 둡니다. "코드 리뷰 지적 사항을 스스로 일반화해 다른 모듈에 적용한 경험을 말했다면 8점" 같은 형태입니다. 기준 문장이 쌓이면 새 평가자가 들어와도 눈높이가 흔들리지 않습니다.

마지막으로 남는 질문은 어디까지 줄여야 하는가입니다. 노이즈를 0으로 만드는 조직은 규칙 기반 자동화에 가까워지고 예외 상황에 약해집니다. 현실적인 목표는 결정 뒤집힘이 생기지 않는 수준까지 좁히는 것입니다. 점수가 1~2점 흔들려도 합격과 불합격이 바뀌지 않는다면 그 흔들림은 감당 가능한 범위입니다. 판단의 폭이 결정의 경계를 넘나드는 순간이 손볼 시점입니다.

FAQ

노이즈를 줄이면 사람의 직관이 사라지는 것 아닌가요?

직관을 없애는 것이 아니라 직관을 쓰는 시점을 뒤로 미루는 방식입니다. 항목별로 근거를 먼저 정리하고 마지막에 종합 판단을 내리면 직관은 그대로 작동하면서 흩어짐은 줄어듭니다. 카너먼 팀도 직관 자체를 금지하라고 말하지 않습니다. 근거 검토 전에 결론이 먼저 나오는 순서를 문제로 봅니다.

평가자를 늘리면 해결되나요?

평균을 쓰면 노이즈는 줄어듭니다. 독립적으로 판단한 여러 사람의 평균은 개별 판단보다 흩어짐이 작습니다. 다만 독립성이 깨지면 효과가 사라집니다. 회의에서 함께 논의한 뒤 점수를 매기면 평가자 다섯 명이 사실상 한 명처럼 움직입니다. 인원보다 순서가 중요합니다.

채용 면접에서 가장 효과가 큰 조치는 무엇인가요?

구조화입니다. 모든 지원자에게 같은 질문을 같은 순서로 하고 항목별로 채점하는 방식입니다. 질문이 면접관마다 다르면 애초에 비교 가능한 자료가 만들어지지 않습니다. 여기에 논의 전 개별 제출을 더하면 저희가 관찰한 사례처럼 산포가 절반 수준으로 줄어드는 경우가 있습니다.

노이즈와 편향 중 무엇을 먼저 다뤄야 하나요?

노이즈가 먼저입니다. 정답을 몰라도 측정할 수 있습니다. 조치도 프로세스 변경 수준에서 가능합니다. 편향은 실제 결과와 대조할 데이터가 쌓여야 확인되기 때문에 초기 조직에서는 검증 자체가 어렵습니다. 흩어짐을 줄여 놓으면 나중에 편향을 찾을 때 신호도 선명해집니다.

작은 팀에서도 노이즈 감사를 할 수 있나요?

가능합니다. 평가자가 세 명이라도 같은 사례 다섯 건으로 산포를 볼 수 있습니다. 표본이 작아 정밀한 수치를 얻기는 어렵지만 "우리 판단이 생각보다 흔들린다"는 사실을 확인하는 데는 충분합니다. 실제로 이 확인 자체가 프로세스 개선의 동력이 되는 경우가 많습니다.