AI 컨설팅 4주 동안 실제로 하는 일

"AI 컨설팅 받았는데 남은 게 슬라이드 80장뿐이었다"는 말을 여러 번 들었습니다. 저희가 이 일을 시작한 계기이기도 합니다. 그래서 반대로 설계했습니다. 보고서가 아니라 작동하는 걸 남기고 떠나는 걸로요. 4주 동안 실제로 뭘 하는지 적어봅니다.

시작 전에 거절하는 경우

먼저 계약 안 하는 경우부터 적는 게 맞을 것 같습니다.

• "일단 챗봇 하나 만들어 주세요" — 문제 정의 없이 산출물부터 정해져 있으면 거절합니다. 이렇게 시작한 도구가 3개월 뒤 방치되는 걸 너무 많이 봤습니다.
• 경영진이 킥오프에 안 들어오는 조직 — AI 도입은 도구 문제가 아니라 일하는 방식 문제라서, 위임만으로는 안 됩니다.
• 데이터를 보여줄 수 없는 조직 — 실제 데이터 없이 하는 컨설팅은 소설이 됩니다.

1주차: 세는 일부터 합니다

첫 주에 하는 일은 모델 선정이 아니라 세는 일입니다.

핵심 팀 몇 개를 골라서 구성원별로 일주일의 작업을 30분 단위로 기록하게 합니다. 거창한 툴 없이 스프레드시트로요. 각 작업에 태그를 셋 붙입니다. 반복성(매주 같은 형태인가), 검증 가능성(결과가 맞는지 쉽게 확인되는가), 되돌림 가능성(실패해도 복구되는가).

셋 다 '높음'인 작업이 1차 자동화 후보인데, 해보면 보통 전체 시간의 15~25%가 나옵니다. 이 목록만 나와도 "우리가 뭘 해야 하지?"의 안개가 꽤 걷힙니다.

2주차: 평가 세트

프로그램에서 제일 중요한 주입니다. 후보 작업 상위 2개에 대해 팀과 같이 평가 세트를 만듭니다.

• 실제 업무에서 뽑은 입력 30~50건 (익명화한 실데이터)
• 각 입력에 대한 좋은 결과의 예시
• 채점 기준 — 뭐가 치명적 오류고 뭐가 허용 가능한 차이인지

이게 있으면 모델 선택이 취향 논쟁에서 측정 문제로 바뀝니다. 그리고 저희가 떠난 뒤에도 신모델이 나올 때마다 팀이 30분 안에 스스로 판단할 수 있게 됩니다. 저희 목표는 재계약이 아니라 자립이라서, 사실 이 주가 프로그램의 전부라고 해도 과언이 아닙니다.

3주차: 파일럿

선정된 작업 1~2개를 실제 워크플로에 넣습니다. 몇 가지를 지킵니다.

• 파일럿 담당은 실무자 2명. 열광하는 사람 1명과 회의적인 사람 1명입니다. 회의적인 사람이 설득되지 않는 설계는 확산이 안 되더라고요.
• 산출물은 바로 나가지 않고 사람의 검토 큐를 거칩니다. 신뢰는 통계로 쌓는 거라서요.
• 측정은 절감 시간과 수정률(사람이 고친 비율) 두 개만 합니다. 대시보드는 이 둘이면 충분했습니다.

4주차: 떠날 준비

마지막 주는 새 기능이 아니라 저희 없이 돌아가게 만드는 데 씁니다.

• 운영 문서 — 뭐가 실패할 수 있고, 실패하면 누가 뭘 하는지
• 월간 리뷰 설계 — 수정률 추이 확인, 위임 범위 조정
• 경영진 보고 — 숫자와 함께, 하지 않기로 한 것들과 그 이유까지

끝나면 남는 것

정리하면 이렇게 다섯 개가 남습니다. 슬라이드는 없습니다.

1. 작업 인벤토리와 자동화 우선순위 문서
2. 팀 소유의 평가 세트 2개 (신모델 검증에 계속 재사용)
3. 실제로 돌아가는 파일럿 1~2개 + 검토 큐
4. 운영 문서와 월간 리뷰
5. 절감 시간·수정률 대시보드

왜 이렇게 하냐고 물으면 각자 답이 하나씩 있습니다. Ian은 "데모는 거짓말을 하는데 평가 세트는 못 한다"고 하고, 저(Kay)는 도입의 성공 기준이 기술이 아니라 그 팀의 평일 오후가 실제로 달라졌는가라고 생각합니다.

문의는 컨설팅 페이지나 hello@ape.team으로 주시면 됩니다.