반복 업무 화면을 녹화해 보내면 AI가 진단서를 쓴다 — 1인 사업자 업무자동화의 현실

“자동화하면 편할 것 같긴 한데 뭘 어디서부터 손대야 할지 모르겠다.” 1인 사업자에게 자동화 얘기를 꺼내면 대부분 이렇게 말한다. 나도 그랬다. 그래서 자동화를 만들어 주는 서비스가 아니라, 먼저 “무엇을 자동화할 수 있는지” 진단해 주는 서비스를 만들었다. Automation Finder다. 반복 업무 화면을 녹화해 올리면 진단서와 제작서 두 장을 받는 구조고, 사업 페이지에서 첫 진단을 무료로 신청할 수 있다. 이 글은 그걸 만들면서 정리한 내 기준과, 솔직한 현재 상태다.

왜 “제작기"가 아니라 “분석기"부터였나

기획 단계에서 내린 결론은 이랬다. 자동화의 진짜 병목은 기술이 없어서가 아니다. 사람들은 자기가 무엇을 반복하고 있는지 잘 모르고, 익숙해서 불편함을 문제로 못 느끼고, “이건 금방 끝나"라고 생각한다. 그런데 작은 업무가 매일·매월 반복되면 큰 시간이 된다. 게다가 자동화해도 되는 업무와 하면 안 되는 업무를 구분하기가 어렵고, 막상 만들려 하면 요구사항 파악에 시간이 제일 많이 든다. 그래서 먼저 필요한 건 자동화 제작기가 아니라 자동화 가능성 분석기라고 봤다.

설명 대신 화면을 보게 했다

많은 진단 도구가 “무슨 일을 하세요?“라는 텍스트 설명만으로 조언한다. 나는 그걸 믿지 않았다. 사람은 자기 업무를 설명할 때 빠뜨리는 게 많다. 그래서 실제 화면을 보기로 했다. 브라우저에서 바로 녹화하거나(최대 20분, 메모리 보호를 위해 화질 자동 조절), 미리 찍은 영상을 올린다. 모바일과 Safari는 녹화가 안 되니 감지해서 파일 업로드로 안내하고, 녹화 안내는 Chrome 전용으로 적어 두었다.

올라온 영상은 ffmpeg로 키프레임 여덟 장을 뽑고, 비전 AI가 그 화면을 읽어 업무 흐름과 자동화 후보 초안을 만든다. 테스트에서 업무명을 더미로 대충 적어 넣었는데도 AI가 화면을 읽고 “이건 소상공인 지원사업 신청서를 작성하는 업무"라고 파악한 걸 보고 이 방향이 맞다고 생각했다. 말이 아니라 화면이 근거다.

받는 것은 두 장 — 진단서와 제작서

결과물은 “자동화하세요"라는 조언이 아니라 문서 두 개다.

• 자동화 가능성 분석서 — 업무를 단계별로 분해하고, 자동화 후보 지점, 절감 예상 시간, 난이도, 우선순위를 적는다.
• 자동화 제작서 — 각 후보를 어떤 도구로 어떻게 만들지, 필요한 준비물과 예상 효과를 적는다. 개발자를 부르기 전에 “뭘 만들어야 하는지"를 정리해 두는 문서다.

“무엇이 문제인지"에서 “그래서 뭘 만들면 되는지"까지가 한 번에 나오게 하려 했다.

자동화가 되는 업무, 안 되는 업무 — 내 기준

진단을 쓰면서 후보를 다섯 가지로 나눈다. 자동화 가능, 반자동 가능, 체크리스트·매뉴얼 추천, 추가 관찰 필요, 자동화 비추천.

점수도 둔다. 반복성 25점, 규칙성 20점, 시간 절감 20점, 데이터 구조화 가능성 15점, 구현 용이성 10점, 검증 가능성 10점을 더하고 책임·위험도를 뺀다. 80점 이상이면 자동화 가능, 6079점은 반자동, 4059점은 자동 실행보다 체크리스트화가 낫고, 그 아래는 더 관찰하거나 우선순위를 낮춘다. 단, 점수가 높아도 책임 위험이 크면 비추천이나 반자동으로 내린다. 이 마지막 줄이 제일 중요하다.

구체적으로는 이렇다. 엑셀 파일 여러 개를 취합하는 일은 자동화 가능, 난이도 낮음이다. 회의 메모를 요약해 액션 아이템으로 만드는 것도 낮다. 웹사이트에서 자료를 내려받는 건 로그인이 걸리니 반자동, 난이도 중간. 특정 데스크톱 프로그램에 반복 입력하는 건 RPA나 로컬 에이전트가 필요해 제한적으로만 가능하고 난이도가 높다. 그리고 최종 승인·제출·결제는 자동화 비추천이다. 기술로는 되지만, 틀렸을 때 책임지는 자리는 사람이 남아야 한다.

사업 페이지 신청 폼에 예시로 적어 둔 문장이 “매출 정산 엑셀 입력이 매일 반복돼요"인데, 이게 딱 자동화 가능 쪽의 전형이다. 반대로 “이 고객에게 얼마를 청구할지 결정"처럼 판단이 섞이면 점수가 높아도 반자동으로 내린다.

솔직한 현재 — 엔진은 아직 사람이다

지금 이 서비스는 OZ 방식이다. 오즈의 마법사처럼 커튼 뒤에서 사람이 분석하고, AI는 거친 초안만 보조한다. 운영자 화면에서 영상을 다시 보며 초안을 다듬어 확정하면 결과 링크가 고객 이메일로 나간다. 왜 이렇게 하느냐면, 실제 업무 영상을 모아 가며 품질을 먼저 검증하고 싶어서다. 초안이 충분히 믿을 만해지면 키프레임, 화면 VLM, 이벤트 로그, 음성 STT를 붙인 자동 파이프라인으로 넘길 계획이고, 분석 모듈을 analyze(영상) → 진단 초안이라는 계약으로 떼어 놓아 뒤를 바꿔도 고객이 보는 화면은 그대로다.

실제 고객 업무 영상으로 가치를 확인한 건수는 여기 적을 만큼 쌓이지 않았다. 내부 할 일 목록에도 “더미 말고 진짜 1건 분석해 가치 확인"이 남아 있었다. 비전 분석은 건당 실비가 들어 상시로 켜 둘지 아직 결정하지 않았고, 키가 없을 땐 텍스트 분석으로 떨어진다. 크롬 확장으로 클릭 이벤트를 기록하거나 음성 나레이션을 받아쓰는 기능은 미구현이다.

남의 업무 화면을 받는다는 것

업무 화면에는 민감한 정보가 담기기 쉽다. 그래서 영상은 이메일 첨부가 아니라 보안 업로드로 받고, 서버 한 곳에만 저장하며 본인과 운영자만 볼 수 있게 했다. 업로드 전 동의 절차와 민감도 표시를 거치고, 개인정보처리방침과 이용약관 페이지를 따로 만들었다. 텍스트 분석은 PC 안의 로컬 AI로 돌리는 옵션이 있지만 기본값은 클라우드라, 완전 로컬을 원하면 설정을 바꿔야 한다. 다른 사용자의 영상 링크를 바꿔 쳐도 403이 나는지 같은 접근 통제는 QA에서 여러 번 검증해 봉인했다.

이 일을 하면서 배운 것

나는 지금 자동화 프로젝트 열두 개를 직접 만들어 운영 중이다. 그 경험에서 나온 결론은, 남에게 자동화를 권하기 전에 “그 업무가 정말 자동화할 일인가"를 먼저 묻는 게 맞다는 것이다. 반복되고 규칙이 있고 결과를 검증할 수 있으면 만든다. 판단과 책임이 들어가면 사람을 남긴다. 진단서는 그 선을 긋는 문서다. 선을 그어 두면 만드는 데 드는 시간도, 만들고 나서 후회하는 일도 줄었다.

이 글은 제 여행 기록과 작업 로그를 바탕으로 초안을 AI와 함께 정리하고, 직접 편집했습니다.