AI가 문의를 엉뚱한 담당자에게 보낸다면: 분류 기준·검토 대기함·검수 방법

배송지 변경 요청이 배송 현황 안내로 분류되면, 고객은 답변을 받아도 원하는 일을 처리하지 못합니다. AI 문의 분류를 도입했는데 담당자가 계속 문의를 넘겨주고 있다면 모델 성능만이 아니라 업무를 나누는 기준부터 확인해야 합니다. 자동화의 목표는 문의에 그럴듯한 이름을 붙이는 것이 아니라, 필요한 정보를 갖춘 문의를 처리 가능한 사람에게 빠짐없이 전달하는 데 있습니다.

단어가 아니라 다음에 해야 할 업무로 분류하세요

‘배송’, ‘상품’, ‘기타’처럼 큰 주제만 구분하면 실제 처리 방식이 다른 문의가 한곳에 섞입니다. 배송 현황 조회는 주문 상태를 확인하는 일이지만, 배송지 변경은 변경 가능 여부를 판단해야 하는 일입니다. 먼저 최근 문의를 읽으며 담당자가 다음에 어떤 행동을 했는지 적고, 같은 절차로 처리할 수 있는 항목끼리 묶어 보세요.

분류 기준에는 이름뿐 아니라 포함할 요청, 제외할 요청, 전달 대상, 필요한 확인 정보를 함께 적는 것이 좋습니다. 사람이 읽어도 경계가 모호한 항목은 AI도 일관되게 나누기 어렵습니다. 담당자가 한 명이어도 확인 순서와 필요한 자료를 구분하는 효과는 있습니다. 반대로 처리 절차가 같은 문의를 표현만 다르다는 이유로 여러 항목으로 쪼갤 필요는 없습니다.

• 분류명: 내부 약어보다 ‘배송지 변경 요청’처럼 해야 할 일이 드러나는 이름을 씁니다.
• 포함·제외 예시: 비슷한 단어가 있어도 다른 업무로 보내야 하는 경우를 함께 적습니다.
• 처리 범위: 문의를 전달하는 단계와 변경·취소를 실제 승인하는 단계를 구분합니다.

한 문의에 여러 요청이 있으면 빠뜨리지 않는 규칙을 두세요

고객은 운영자가 정한 분류표대로 질문하지 않습니다. ‘언제 도착하나요? 아직 출발 전이면 주소를 바꾸고 싶어요’라는 예시에는 조회와 변경 요청이 함께 있습니다. 이를 배송 문의 하나로만 저장하면 조회 답변을 보낸 뒤 변경 요청이 누락될 수 있습니다. 복합 문의를 하나의 항목으로 압축할지보다, 각각의 요청이 처리 기록에 남는지를 먼저 보세요.

시스템이 여러 태그를 지원한다면 주된 처리 업무와 추가 요청을 나눌 수 있습니다. 하나의 분류만 허용한다면 우선 담당자를 정하되, 나머지 요청은 확인 항목으로 남기고 완료 여부를 확인하게 하세요. 어느 요청부터 처리할지는 실제 변경 가능 시간과 운영 절차를 기준으로 정해야 합니다. 고객의 강한 표현이나 느낌표 개수만으로 우선순위를 결정하는 방식은 피합니다.

• 복합 요청: 한 문장에 여러 행동이 포함됐을 때 누락된 요청이 없는지 확인합니다.
• 진행 책임: 여러 담당자에게 알리더라도 최종 처리 여부를 확인할 사람을 정합니다.
• 완료 조건: 대표 분류의 답변을 보냈다는 이유로 모든 요청을 완료 처리하지 않습니다.

애매한 문의는 억지로 분류하지 말고 검토 대기함으로 보내세요

‘지난번처럼 해 주세요’처럼 이전 대화가 없으면 해석할 수 없는 문의도 있습니다. 이런 문장을 가장 비슷한 분류에 밀어 넣기보다 정보 부족, 여러 분류의 경계, 등록되지 않은 요청을 구분해 보류하는 경로를 만드세요. ‘기타’로 저장만 하고 누구도 보지 않는다면 분류 오류가 사라진 것이 아니라 보이지 않게 된 것에 가깝습니다.

AI가 답변에 적은 자신감 점수를 실제 정답 확률처럼 취급해서는 안 됩니다. 점수로 자동 전달 여부를 정하려면 별도 검수 표본에서 그 기준이 어떻게 작동하는지 확인해야 합니다. 초기에는 승인되지 않은 분류명, 필수 정보 누락, 판단 근거가 불명확한 요청을 검토 대상으로 두는 방식이 관리하기 쉽습니다. 취소나 환불처럼 결과에 영향이 큰 업무는 분류가 맞아도 실행 승인을 따로 둡니다.

• 보류 사유: 무엇이 부족해서 자동 전달하지 못했는지 짧게 기록합니다.
• 확인 책임: 검토 담당자와 확인 주기를 정하고 오래 남은 문의를 표시합니다.
• 추가 정보: 필요한 항목만 요청하며 분류를 위해 고객 정보를 과도하게 모으지 않습니다.

쉬운 문의뿐 아니라 틀리기 쉬운 사례로 검수하세요

테스트 자료에는 자주 들어오는 질문과 함께 짧은 문장, 오탈자, 복합 요청, 정보가 부족한 질문을 포함하세요. 실제 문의를 사용할 때는 이름·연락처·주문번호 등 불필요한 개인정보를 제거하거나 대체해야 합니다. 담당자가 먼저 기대 분류와 그 이유를 적고, 의견이 갈리는 항목은 정답을 억지로 정하기보다 분류표를 보완할 사례로 남깁니다.

분류 설명을 고칠 때 참고한 문의와 최종 확인용 문의는 나누는 것이 좋습니다. 익숙한 예시만 반복하면 문구는 잘 맞아도 새 문의에서 같은 성능이 나오는지 알기 어렵습니다. 전체 정답률 하나만 보지 말고 어떤 업무로 잘못 전달됐는지, 보류해야 할 문의가 자동 전달됐는지, 복합 요청이 빠졌는지를 확인하세요. 검수량이 적다면 결과를 전체 운영의 성과처럼 단정하지 않습니다.

• 표본 기록: 문의 예시, 기대 처리 경로, 실제 분류, 판단 이유를 함께 남깁니다.
• 중요 오류: 변경 요청 누락처럼 후속 처리에 영향이 큰 실수를 따로 집계합니다.
• 변경 후 확인: 분류표나 모델을 바꾸면 기존에 맞던 사례도 다시 시험합니다.

분류 결과와 실제 전달·수정 기록을 연결하세요

화면에 올바른 분류가 표시돼도 알림이 누락되거나 잘못된 대기함에 저장되면 업무는 진행되지 않습니다. 접수 식별자를 기준으로 원문, 최초 분류, 전달 대상, 처리 상태를 연결하고 담당자가 분류를 바꾸면 수정 이유를 남기세요. 알림 전송 성공과 담당자의 확인은 다른 상태입니다. 다시 전달할 때는 이미 처리 중인 문의가 새 건으로 중복 생성되지 않는지도 봐야 합니다.

전달 대상은 운영자가 승인한 분류표와 연결해 두는 편이 안전합니다. 고객 문장이나 AI 출력에 등장한 주소를 그대로 수신자로 사용하지 말고, 정해진 분류값만 받아 내부의 전달 규칙에 연결하세요. 운영 중에는 잘못 전달된 비율뿐 아니라 검토 대기 시간과 누락 여부도 함께 봅니다. 자동 분류 비중을 높였는데 담당자가 뒤에서 수정하는 일이 늘었다면 범위를 줄일 필요가 있습니다.

• 기록 연결: 같은 문의의 최초 분류와 사람이 수정한 결과를 함께 추적합니다.
• 전달 확인: 접수·분류·알림·담당자 확인이 각각 어디까지 끝났는지 구분합니다.
• 개선 기준: 반복되는 오분류는 예시 추가로 해결할지, 항목을 합칠지 검토합니다.

문의 자동화 제작은 작은 처리 흐름부터 범위를 정하세요

기준을 정리했는데도 문의가 폼·메일·메신저에 흩어져 수작업 전달이 계속된다면, 분류 기능과 접수 구조를 함께 설계할 단계입니다. 문의 자동화를 맡길 때는 ‘AI가 알아서 분류’라는 요구보다 접수 위치, 승인된 분류표, 전달 대상, 검토 대기함을 구체적으로 정하세요. 답변 생성과 주문 변경까지 한 번에 포함하지 않고 분류와 전달부터 시작하면 확인해야 할 범위가 선명해집니다.

기존 문의폼이나 관리 도구를 유지할 수 있는지도 먼저 살펴보는 것이 좋습니다. 연동 가능한 항목과 권한, 접수 식별자 유무에 따라 필요한 작업이 달라집니다. 초기에는 사람이 처리하는 흐름을 유지한 채 AI의 분류 제안만 비교하고, 검수 결과가 확인된 항목부터 자동 전달을 적용하는 방식도 검토할 수 있습니다. 전면 교체보다 반복 전달이 많은 한 경로를 먼저 연결해 보는 접근입니다.

제작 범위에는 운영자가 분류표를 수정하는 방법과 문제가 생겼을 때 수동으로 돌아가는 절차까지 포함하세요. 완료 기준도 화면이 작동하는지만으로 정하지 않는 것이 좋습니다. 합의한 테스트 문의가 올바른 대기함에 도착하는지, 애매한 문의가 검토 대상으로 남는지, 담당자가 변경한 기록을 확인할 수 있는지까지 검수 항목으로 두면 납품 이후의 운영을 논의하기 쉬워집니다.

• 준비 자료: 개인정보를 제외한 문의 예시와 현재 처리 순서를 정리합니다.
• 구축 범위: 접수 연결, 분류 제안, 검토 대기, 담당자 전달을 나누어 확인합니다.
• 운영 인계: 수정 가능한 설정, 점검 담당자, 수동 처리 경로를 함께 받습니다.

마치며

문의 분류의 품질은 이름을 잘 붙이는 데서 끝나지 않습니다. 요청이 빠지지 않고, 애매한 건은 사람이 확인하며, 수정한 이유가 다음 기준에 반영돼야 합니다. 하우콘텐츠(howcontent.co.kr)와 AI 상담·업무 자동화 범위를 논의할 때는 잘못 전달된 문의 예시와 원래 도착했어야 할 처리 경로를 함께 공유해 주세요. 그 차이를 출발점으로 삼으면 분류표 정리만 필요한지, 문의폼 연동과 검토 화면까지 만들어야 하는지 구체적으로 판단할 수 있습니다.