보이스피싱 피해구제 업무 88% 단축
한국딥러닝, VLM 기반 AI 에이전트로 서류 처리 자동화 성공

한눈에 보기
- 양사는 한국딥러닝의 금융 특화 AI 에이전트 '딥 에이전트 포 파이낸스'를 적용해 서류 인식·분류부터 정보 추출, 범죄 유형 추론까지 자동화했으며, 시스템은 은행 내부망에서만 운영되는 온프레미스 방식으로 구축됐다.
- IBK기업은행은 내년 상반기 중 실증 결과를 실제 피해구제 업무에 적용할 계획을 세웠고, 한국딥러닝은 금융기관과 공공기관을 대상으로 문서 처리 자동화 사업을 확대할 방침을 밝혔다.
한국딥러닝(대표 김지현)이 IBK기업은행과 공동으로 보이스피싱 피해구제 업무 자동화 실증을 완료했다. 이번 실증은 비전언어모델(VLM) 기반 인공지능(AI) 에이전트를 활용해 서류 처리 시간을 88% 단축하는 데 성공했다. 피해구제 과정에서 팩스로 접수되는 신청서와 신분증을 AI가 분석하고 필요한 정보를 추출하는 시스템을 구축했다. 기존에는 은행 직원이 접수된 서류를 일일이 확인하고 관련 정보를 시스템에 입력해야 했다. 이로 인해 서류 처리에 상당한 시간이 소요돼 신속한 피해 대응에 어려움이 있었다.
이번 실증에서 AI-OCR과 VLM의 분석 결과를 교차 검증해 신뢰도에 따라 자동 처리 또는 담당자 검수로 분기하는 구조를 설계했다. 인쇄체 인식 정확도는 100%를 기록했고, 필기체는 97% 이상의 정확도를 달성했다. 문서 분류와 범죄 유형 추론에서도 실증 평가 기준 100%의 정확도를 확보했다. 일부 정보 추출 항목에서는 기존 AI-OCR 대비 정확도가 최대 20.4%포인트 높아졌다.
기존 광학문자인식(OCR) 기술이 문자 추출에 집중했다면, 이번 시스템은 VLM을 활용해 문서의 시각적 정보와 문맥까지 분석하는 기능을 확장했다. 이는 저화질 신분증과 필기체 피해구제신청서의 판독이 어려웠던 기존 한계를 극복한 것이다. 시스템은 문서의 종류를 구분하고 주요 정보를 추출하는 데 그치지 않고, 서류 내용을 분석해 범죄 유형까지 자동으로 추론한다.
IBK기업은행은 실증 결과를 바탕으로 내년 상반기 중 해당 기술을 실제 피해구제 업무에 적용할 계획이다. 한국딥러닝은 VLM 엔진 개선부터 문서 처리 시스템, 검수 대시보드 구축과 성능 검증까지 기술 개발을 담당했다. 이번 과제는 재정경제부와 과학기술정보통신부가 주최한 '2026 공공기관 AI혁신 챌린지' AI 서비스 실증(PoC) 부문에서 우수상에 선정됐다.

김지현 한국딥러닝 대표는 "이번 실증은 VLM 기반 AI 에이전트가 피해 대응에 필요한 시간을 확보하는 데 기여할 수 있음을 보여줬다"며 "앞으로 금융기관의 반복 업무를 자동화해 운영비용을 낮추고 금융소비자 보호에 더 많은 시간과 인력을 투입할 수 있는 환경을 만들겠다"고 밝혔다. IBK기업은행 금융소비자지원부 관계자는 "보이스피싱 피해구제는 신속한 대응이 핵심이지만, 기존에는 서류 처리에만 많은 시간이 소요됐다"며 "이번 실증을 통해 이를 획기적으로 단축해, 피해구제에 필요한 대응 시간을 확보하고 금융소비자 보호를 강화할 가능성을 확인했다"고 말했다.
주요 사실 정리
시스템은 인쇄체 인식 정확도 100%와 필기체 인식 97% 이상의 성능을 기록했고, 기존 AI-OCR 대비 정보 추출 항목에서 최대 20.4%포인트의 정확도 향상을 달성했다.
이번 자동화 시스템은 한국딥러닝의 금융 특화 AI 에이전트 '딥 에이전트 포 파이낸스(DEEP Agent for Finance)'를 기반으로 구축됐으며, 서류의 종류를 분류하고 주요 정보를 추출하는 데 그치지 않고, 문서 내용을 분석해 범죄 유형까지 자동으로 추론하는 기능을 포함한다.