안녕하세요, 데이터매니저입니다. 회사에서 외부 마케팅 이벤트 참여자 명단이나 거래처 주소록 데이터를 취합하다 보면, 한 사람이 여러 번 중복으로 신청하여 데이터가 지저분하게 쌓이는 경우가 많습니다.

이때 많은 실무자들이 엑셀 상단 메뉴에 있는 [데이터] -> [중복된 항목 제거] 버튼을 구세주처럼 누릅니다. 클릭 몇 번에 "수백 개의 중복 값이 제거되었습니다"라는 알림창이 뜨면 마음이 아주 개운해지죠. 하지만 다음 날, 부서장님이 호출합니다. "어제 명단 정리한 거, 동명이인인 다른 부서 김철수 대리 데이터까지 다 날아갔는데? 게다가 주문 번호도 엉망이잖아!"

분명 중복만 지웠다고 생각했는데, 살아남아야 할 정상적인 데이터베이스의 식별 코드(고유 ID)까지 모조리 증발해 버린 것입니다. 한번 삭제된 데이터는 저장 후 창을 닫으면 복구조차 불가능합니다. 오늘은 엑셀의 중복 제거 기능이 가진 무서운 기계적 결함을 파헤치고, 고유 데이터를 절대 날리지 않는 완벽한 실무 컷오프 비법을 명쾌하게 해부해 드립니다.

'중복된 항목 제거' 버튼의 기계적인 함정

엑셀과 구글 스프레드시트의 '중복된 항목 제거(Remove Duplicates)' 기능은 사람처럼 융통성 있게 생각하지 않습니다. 범위를 잡고 이 버튼을 누르면 엑셀은 여러분에게 "어떤 열(Column)을 기준으로 중복을 검사할까요?"라고 묻는 체크박스 창을 띄웁니다. 여기서 대참사가 결정됩니다.

초보자들은 보통 명단을 정리할 때 별생각 없이 '이름'이나 '상품명' 열 하나에만 체크를 남기고 확인을 누릅니다. "김철수가 두 번 신청했으니 하나만 남겨야지!"라는 생각에서죠. 하지만 엑셀은 이렇게 작동합니다. "아, A열(이름)에 김철수라는 글자가 3개 있네? 무조건 제일 위에 있는 첫 번째 줄 1개만 남기고, 나머지 밑에 있는 김철수 줄은 그 옆에 전화번호가 다르든, 부서가 다르든 상관없이 행 전체를 그냥 다 삭제해버려야지!"

즉, 서울 지사의 김철수(사번 001)와 부산 지사의 김철수(사번 002)는 엄연히 다른 사람인데, 이름만 겹친다는 이유로 부산 지사의 김철수가 데이터베이스에서 강제 퇴사(삭제) 당하는 끔찍한 비극이 일어나는 것입니다.

무조건 살아남는 '고유 ID(Unique ID)' 기준 잡기

이런 파국을 막으려면 데이터베이스 관리의 가장 기본인 '고유 ID(Primary Key)'의 개념을 명확히 이해하고 활용해야 합니다. 고유 ID란 이 세상에서 오직 그 데이터 하나만이 가지고 있는 절대 겹치지 않는 값을 뜻합니다.

사람으로 치면 '주민등록번호, 사번, 이메일 주소, 연락처'이고, 물건으로 치면 '바코드, 주문 번호'입니다. 중복 제거 창이 떴을 때, 체크박스에서 이름이나 부서명은 모두 체크 해제하고 반드시 이 '이메일 주소'나 '사번' 열(고유 ID)에만 딱 하나 체크를 남겨두어야 합니다.

만약 완벽한 고유 ID 열이 따로 없는 열악한 데이터라면 어떻게 할까요? 이때는 반드시 '이름'과 '전화번호' (또는 '이름'과 '생년월일') 두 개의 열을 동시에 체크해야 합니다. 그러면 엑셀은 "이름도 똑같고, 전화번호도 똑같은 사람만 중복으로 칠게!"라고 똑똑하게 인지하여 동명이인이 억울하게 날아가는 사고를 완벽하게 차단할 수 있습니다.

삭제하지 않고 중복을 걸러내는 '비파괴' 함수: UNIQUE

실무 고수들은 원본 데이터를 직접 삭제하는 [중복된 항목 제거] 버튼 사용을 극도로 꺼립니다. 실수로 날아가면 복구가 안 되기 때문입니다. 대신 원본은 가만히 살려두고, 옆의 빈 공간에 중복이 제거된 깨끗한 명단만 거울처럼 뽑아내는 'UNIQUE 함수'를 사용합니다. (엑셀 365 이상, 구글 스프레드시트 지원)

  • 수식: =UNIQUE(A2:A1000)

빈 셀에 이 수식을 단 한 번만 치면, A열에 있는 수천 개의 이름 중에서 중복된 이름은 알아서 하나로 병합되어 깔끔한 고유 명단이 쭈르륵 출력됩니다. 원본을 파괴하지 않기 때문에 언제든 잘못된 점을 확인할 수 있고, 새 데이터가 추가되면 고유 명단도 실시간으로 알아서 업데이트되는 최고의 안전장치입니다.

아날로그 방식의 철벽 방어: COUNTIF 누적 카운팅 (주의사항)

최신 버전을 쓰지 않아 UNIQUE 함수가 없거나, "중복된 데이터가 도대체 몇 개나 있었는지 내 눈으로 직접 확인하고 지우고 싶다"면 어떻게 해야 할까요? 이때는 삭제 버튼을 누르기 전에 COUNTIF 함수를 이용한 '누적 카운팅' 꼼수를 써야 합니다.

데이터 맨 우측에 빈 열을 하나 만들고, 두 번째 줄(예: D2)에 아래와 같이 수식을 씁니다.

  • 수식: =COUNTIF($A$2:A2, A2)

이 수식의 핵심은 앞의 $A$2에만 절대 참조(달러)를 걸어두는 것입니다. 수식을 아래로 드래그하면, 위에서부터 아래로 내려오면서 똑같은 이름(또는 이메일)이 몇 번째로 등장하는지 번호를 매겨줍니다. 처음 등장한 김철수 옆에는 '1', 중복으로 또 나타난 김철수 옆에는 '2', 세 번째는 '3'이 뜹니다. 이제 이 열에 필터를 걸어 숫자 '1'인 데이터만 남기면 그것이 고유 명단이고, 숫자 '2' 이상인 것만 필터링하면 그것이 삭제해야 할 중복 데이터입니다. 내 눈으로 직접 2번 이상 중복 신청한 사람들을 확인한 뒤, 필터링 된 상태에서 삭제하면 단 하나의 고유 데이터도 잃어버리지 않는 철벽 방어가 완성됩니다.

오늘 글의 핵심 요약

  • [중복된 항목 제거] 기능을 '이름'이나 '상품명' 하나만 체크해 실행하면, 동명이인처럼 겹치는 다른 고유 데이터까지 통째로 삭제되는 대참사가 일어납니다.

  • 중복을 제거할 때는 반드시 절대 겹치지 않는 '사번, 이메일' 등 고유 ID 열만 체크하거나, '이름+전화번호'처럼 다중 조건을 체크해야 안전합니다.

  • 원본을 훼손하지 않으려면 엑셀 최신 버전의 UNIQUE 함수를 쓰거나, =COUNTIF($A$2:A2, A2) 수식으로 중복 순번을 매겨 눈으로 확인 후 지우는 것이 정석입니다.

다음 14편에서는 여러 부서 사람들과 하나의 구글 스프레드시트 파일에 동시 접속해서 일할 때 가장 화가 나는 상황, 바로 ‘공동 작업 시 내 필터 때문에 남들 화면까지 바뀌는 참사: '필터 보기' 기능 완벽 활용’에 대해 알아보겠습니다. 내가 필터를 걸 때마다 팀장님 화면까지 요동치는 끔찍한 민폐를 막고, 나만의 독립된 화면을 구축하는 협업의 기술을 다음 시간에 공개합니다!

여러분은 엑셀에서 중복 제거 버튼을 눌렀다가 실수로 필요한 데이터까지 날려버려서 식은땀을 흘렸던 경험이 있으신가요? 오늘 배운 UNIQUE 함수나 COUNTIF 꼼수를 현장에 적용해 보시고 여러분의 소감을 댓글로 남겨주세요!