화요일 오전엔 실패 로그를 소리 내어 읽습니다

매주 화요일 오전에 운영 중인 AI 시스템들을 점검합니다. 대단한 건 없습니다. 로그를 열고, 순서대로 읽고, 끝나면 커피를 마십니다. 그런데 이 한 시간이 저희 시스템 품질의 대부분을 만든다고 생각해서, 뭘 하는지 그대로 적어봅니다.

읽는 순서가 정해져 있습니다

순서가 곧 우선순위입니다. 매주 이 순서로 봅니다.

1. 거절 로그 — 시스템이 "모르겠다"고 답한 사례 전부. 잘못 거절한 건 잘못 확신한 것보다 고치기 쉬워서 먼저 봅니다.
2. 에스컬레이션 — 사람한테 넘어간 대화들. 다음 평가 세트에 들어갈 케이스가 대부분 여기서 나옵니다.
3. 레이턴시 p99 — 평균은 안 봅니다. 이유는 아래에 씁니다.
4. 드리프트 신호 — 검색 품질, 임베딩이 얼마나 낡았는지, 소스 데이터가 얼마나 신선한지.

요약은 일부러 자동화하지 않습니다

저희도 요약 파이프라인을 잘 만듭니다. 그런데 이 회의의 요약만은 모델에게 안 시킵니다. 한번 시켜봤는데, 요약이 정확한데도 회의가 이상해졌습니다. 다들 대시보드를 감상하고 있더라고요.

그래서 규칙을 하나 뒀습니다. 실패한 대화 다섯 건을 원문 그대로, 소리 내어 읽습니다. 처음엔 다들 어색해했는데 지금은 이게 회의의 중심입니다. 지표로는 안 보이던 게 원문에서는 보입니다. 고객이 이 답을 받고 어떤 기분이었을지 같은 것들이요.

평균을 금지했습니다

이번 분기에 새로 생긴 규칙입니다. 레이턴시를 평균으로 보고하는 걸 금지했습니다. p50과 p99만 봅니다.

계기가 있었습니다. 평균 1.2초라고 보고된 시스템이 있었는데, 뜯어보니 대부분 0.8초에 가끔 8초였습니다. 고객은 평균을 경험하지 않습니다. 그 '가끔 8초'를 경험한 사람이 다시 안 올 뿐입니다. 평균은 그걸 숨기기에 딱 좋은 숫자였습니다.

이걸 왜 공개하냐면

별 이유는 없고, 기준은 적어서 공개해두면 지키게 되더라고요. 안 지키면 티가 나니까요. 이 노트도 그래서 올립니다. 화요일 루틴이 무너지면 이 글이 저희를 찔러줄 겁니다.

평가 세트를 어떻게 만드는지는 용어집에 짧게 정리해뒀고, 컨설팅에서 이 루틴을 이식하는 과정은 4주 프로그램 글에 있습니다.