AI 분류 정확도는 선택지에서 갈린다: '해당 없음' 칸을 두는 이유
Jev는 프로그램이 만든 선택지 안에서만 답한다. 고객 문의 분류를 예로, 선택지에 무엇을 넣고 '해당 없음'을 어떻게 다루느냐가 어떤 실수를 허용할지 정하는 일임을 설명한다.
고객이 “어제 결제한 걸 취소했는데, 돈이 두 번 빠져나간 것처럼 보여요”라고 썼다고 해보자. 문의를 자동 분류하는 팀은 Jev에 이 문장을 넣고 환불, 오류, 기타 중 하나를 고르게 할 수 있다. 모델은 답을 돌려준다. 그런데 고객이 실제로 원하는 것은 취소 처리 상태를 확인하는 일일 수도 있다. 그 경우 분류가 어긋난 이유는 모델의 독해력만으로 설명되지 않는다. 질문을 만든 사람이 ‘취소 상태 확인’을 별도 선택지로 둘지 결정하지 않았기 때문이다.
TypeSafe의 Jev 문서에서 Choice는 사용자가 정한 선택지 사이의 분포와 한 가지 답을 반환한다. Score는 사용자가 정의한 순서 있는 수준을, Noul은 예·아니오 질문에서 ‘예’ 쪽의 값을 반환한다. Jev가 볼 답의 범위는 호출하는 프로그램이 만든다. 문서는 선택지가 모든 경우를 덮지 못할 때 other 또는 ‘해당 없음’을 넣으라고 권한다. 모델이 정해진 형식으로 답한다는 장점은 이 범위 밖의 새 업무 유형을 스스로 만들어내지 못한다는 조건과 함께 온다.
스크립트 안에서 달라지는 자리
그래서 “이게 스크립트와 뭐가 다른가”라는 질문이 정확하다. 실제로 Jev는 대개 스크립트 안의 한 단계다. 스크립트가 원본을 읽고, 후보를 모으고, Jev에 질문을 보내고, 돌아온 답에 따라 다음 일을 한다. 바뀌는 곳은 조건문의 일부다. “환불”이라는 단어가 있으면 환불 문의라는 규칙 대신, 표현이 제각각인 문장에 이 고객은 환불을 요청하는가?라고 묻는다. 문장만으로 답하기 어려우면 관련된 주문 상태를 함께 보내거나 사람에게 넘긴다.
반대로 중복 결제가 실제로 있었는지, 환불일이 지났는지는 결제 기록과 날짜를 조회·계산해야 한다. TypeSafe도 Jev 1.13의 알려진 한계에서 숫자 계산과 날짜 비교를 코드에 두라고 안내한다. 문의의 뜻을 분류하는 값과 실제 거래가 어떻게 처리됐는지는 서로 다른 자료에서 나온다. Jev의 답이 뚜렷해도 결제 원장을 읽은 결과가 되지는 않는다.

선택지는 한 번 정해 놓는 목록만 뜻하지 않는다. 고정된 문의 유형은 운영자가 설계할 수 있다. 담당자를 골라야 한다면 현재 근무자와 담당 범위를 데이터베이스에서 읽어 이번 건의 후보를 만들 수도 있다. 문서 검색에서는 먼저 관련 문서를 찾고 Jev가 그중 적합한 항목을 판단하게 할 수 있다. TypeSafe의 스킬 추천 예제도 목록 전체에서 후보를 좁힌 뒤 상위 후보의 자세한 내용을 읽어 다시 판단한다. 여기서 선택지를 가져오는 검색과 조회 역시 제품의 판단 일부다.
선택지에 무엇을 넣느냐는 어떤 실수를 허용할지 정하는 일이다. 목록에 없는 답을 억지로 기존 분류에 밀어 넣으면 깔끔한 결과표가 나온다. 하지만 그 표는 놓친 업무를 드러내지 못한다. ‘해당 없음’을 넣으면 사람이 확인할 건수가 늘어날 수 있다. 그 건수는 분류표가 현실을 얼마나 따라가고 있는지 알려주는 자료이기도 하다.
그 자료를 쌓으려면 ‘해당 없음’도 단순한 쓰레기통으로 두어서는 곤란하다. 예컨대 고객 문의에서 취소 상태 확인이 반복해서 그 칸에 들어온다면, 새 선택지를 추가할지, 기존 환불 문의의 기준을 넓힐지 결정해야 한다. 두 선택은 다음 달의 통계를 다르게 만든다. 분류표가 바뀌는 순간에는 지난달의 ‘환불 문의’와 이번 달의 ‘환불 문의’가 같은 뜻인지도 다시 따져야 한다.
가장 그럴듯한 답과 적합한 답
선택지가 매번 달라지는 추천 문제에서는 한 가지 함정이 더 생긴다. 세 후보 중 하나를 고르는 Choice의 답은 세 후보 사이의 상대적 선택이다. 세 후보가 모두 부적합해도 그 안에서는 하나가 1등이 된다. TypeSafe의 모델 한계 문서는 후보 간 Choice와 후보별 Noul이 서로 다른 질문이라고 설명한다. 자사의 스킬 추천 예제에서는 후보를 고르는 질문과 “이번 요청에 스킬이 필요한가”를 묻는 질문을 함께 사용한다. 제품은 ‘목록 중 최고’와 ‘실제로 채택할 만큼 적합’ 사이에 따로 경계를 그어야 한다.
그 경계를 숫자 하나로 영구 고정할 수도 없다. TypeSafe의 confidence 설명에 따르면 Choice와 Score의 confidence는 답의 확률 분포가 한쪽에 얼마나 모였는지를 요약한다. 현실에서 맞았는지 확인한 비율이 아니다. 문의를 잘못 배정해 한 시간 늦게 보는 경우와, 환불을 잘못 승인하는 경우는 오류 비용부터 다르다. 같은 분포라도 앞의 일에서는 자동 배정을 허용하고 뒤의 일에서는 원장 확인과 사람의 승인을 요구할 수 있다. 이 경계는 업무별 사례를 모아 정해야 한다.
작은 실험은 분류 정답률 한 줄에서 끝나지 않는다. 먼저 사람이 서로 다른 표현의 문의에 라벨을 붙인다. Jev가 무엇을 틀렸는지 볼 때는 원문, 당시 선택지와 설명, 모델 버전, 답의 분포, 사람이 고친 라벨을 함께 둔다. ‘환불’을 ‘취소 상태’로 잘못 읽은 건지, 선택지 자체가 빠졌는지, 주문 상태를 입력에서 누락했는지가 그제야 갈린다. 선택지가 잘못됐는데 질문 문장만 계속 고치면 비슷한 오류가 돌아온다.
이 기록을 보며 확실한 규칙은 코드에 남기고, 표현 때문에 흔들리는 좁은 판단만 Jev에 건넬 수 있는지 시험한다. TypeSafe는 상태를 구성하는 방법에서 질문에 필요한 정보만 관련 있는 필드로 묶도록 안내한다. 입력을 줄이는 사람이 환불 정책을 빠뜨리면 모델은 빠진 정책을 복구할 수 없다. 주문번호가 정확히 일치하는지처럼 코드가 바로 알 수 있는 것까지 모델에게 묻는다면 검증 가능한 조건을 불확실한 판단으로 바꾸는 셈이다.
팀은 데이터 조회와 계산, 권한, 실제 실행을 맡는 스크립트와 Jev에게 건네는 질문·선택지의 뜻을 함께 관리해야 한다. 새로운 문의가 자꾸 ‘기타’에 쌓인다면 그 문의를 다시 읽을 차례다. 제품이 아직 이름 붙이지 않은 업무인지, 이미 있는 분류의 설명이 좁았는지 확인하고 분류표를 고친다.
이 글을 읽고 나면, 분류 모델이 틀렸을 때 모델 탓인지 선택지·입력 설계 탓인지 가려 볼 수 있다.