AI Trends
데모는 잘 되는데 서비스는 왜 안 될까
AI는 보통 구경거리로 소개됩니다. 데모, 채팅창, 놀라운 답변 하나. 그런데 서비스를 운영해보면 그 화려한 층이 제일 먼저 무너집니다. 오래 버티는 건 그 밑에 있는 조용한 것들이었습니다. 수집 규칙, 평가 주기, 권한 경계, 폴백 경로, 사람 검토 루프. 그리고 압박 상황에서 믿을 수 없는 건 빼버리는 결단.
모델이 중요하지 않다는 얘기가 아닙니다. 모델은 제품이 아니라는 얘기입니다. 제품은 실제 사용자, 불완전한 데이터, 레이턴시, 애매한 질문, 상업적 압박이 동시에 들이닥쳤을 때 시스템이 보이는 행동 전체입니다.
모델보다 경계가 먼저
좋은 AI 시스템의 첫 결정은 어떤 모델을 쓸지가 아니었습니다. 이 시스템이 뭘 해도 되는지였습니다. 답해도 되는 질문, 실행해도 되는 액션, 들여다봐도 되는 데이터, 인정해야 하는 불확실성, 그리고 물러나야 하는 순간. 인터페이스보다 이 경계를 먼저 정합니다.
기능을 다 노출하는 게 아니라, 운영하고 측정하고 개선할 수 있는 가장 작은 세트만 노출합니다. 그러면 팀이 돌보는 쇼케이스가 아니라 믿고 쓰는 구조가 생깁니다.
[Customer Signal] -> [Policy Gate] -> [Retrieval Layer]
-> [Model Runtime]
-> [Confidence Check]
-> [Human / Automated Action]
-> [Observability Ledger]데이터가 곧 말투
데이터 품질을 추상적으로 말하는 경우가 많은데, 저는 재료처럼 묻는 게 낫다고 봅니다. 안정적인가, 추적되는가, 곱게 늙는가, 망가뜨리지 않고 청소할 수 있는가. 이 질문에 답 못 하는 데이터셋은 프로덕션 입력으로 못 씁니다.
브랜드가 쓰는 시스템이라면 데이터에 취향까지 실립니다. 제품명, 정책 문구, 핏 표현, 수선 안내, 고객 이력. 이 재료가 뒤죽박죽이면 시스템 말투도 뒤죽박죽이 됩니다. 모델을 바꿔도 안 고쳐지는 문제라서, 재료부터 정리해야 했습니다.
운영 리추얼
매주 실패한 프롬프트, 느려진 응답, 검색 품질 드리프트, 정책 빗나감, 에스컬레이션을 들여다봅니다. 하나도 멋있는 일이 아닌데, 신뢰는 여기서 쌓이더라고요.
대시보드도 장식용이 아니라 운영자용으로 만듭니다. 회의에서 멋있어 보이는 차트가 아니라, 담당자가 "뭐가 바뀌었고, 왜 바뀌었고, 고객이 느끼기 전에 뭘 해야 하는지"를 알 수 있는 화면이요.
런타임 상태, 에스컬레이션 양, 미해결 상태 확인.
고객과 운영자의 실제 엣지 케이스를 추가.
시스템이 여전히 맞는 경계와 말투로 답하는지 확인.
실패도 설계 대상
모든 지능형 시스템은 실패합니다. 모델이 타임아웃 나고, 검색이 낡은 걸 물어오고, 경계 밖 질문이 들어옵니다. 프로토타입과 제대로 된 시스템의 차이는 이 순간이 없느냐가 아니라, 이 순간에 고객이 뭘 겪느냐였습니다.
그래서 거절 문구를 브랜드 말투로 미리 써두고, 성능 저하 모드는 솔직하게 공지하고 사람에게 가는 길을 열어두고, 타임아웃이 나도 고객이 쓰던 내용은 보존합니다. 복구되면 고객에게 다시 말하게 하지 않고 이어갑니다. 데모에서는 실력을 속일 수 있는데 실패 상황에서는 못 속입니다.
결국 담당자 문제
프로덕션 AI는 기술 결정처럼 보이는 인사 결정입니다. 누군가는 평가 세트를 소유해야 하고, 누군가는 에스컬레이션을 읽어야 하고, 누군가는 금요일 저녁에 모델을 롤백할 권한과 롤백하지 않을 판단력을 가져야 합니다. 이름 붙은 주인이 없는 시스템은 업타임 좋은 데모로 퇴화합니다.
저희는 역할을 명시합니다. 경계 담당, 평가 담당, 서비스 경험 담당. 작은 팀에서는 한 사람이 두 개를 겸해도 됩니다. 중요한 건 뭔가 어긋났을 때 "이거 누구 콜이지?"에 이미 답이 있는 겁니다.
남는 것
모델은 교체됩니다. 프레임워크는 다시 쓰입니다. 올해 고른 벡터 스토어는 3년 뒤 마이그레이션 프로젝트가 됩니다. 남는 건 그걸 감싼 규율입니다. 경계 정의, 평가 세트, 실패 시나리오, 운영 리추얼.
그래서 고객사에도 산출물은 모델이 아니라고 말합니다. 산출물은 충분히 좋은 어떤 모델이든 우리 것처럼 굴게 만드는 시스템입니다. 그걸 한 번 제대로 만들면 이후의 모든 기술 세대가 재발명이 아니라 업그레이드가 됩니다.
