한국딥러닝과 IBK기업은행 금융소비자지원부는 시각언어모델(VLM) 기반으로 보이스피싱 피해구제 업무 자동화 체계를 구현했다. 올해 4월부터 8월까지 진행한 과제로, 금융 특화 AI 에이전트 ‘딥 에이전트 포 금융’을 적용해 서류 인식과 분류, 정보 추출, 범죄 유형 추론까지 연결했다. 기존에는 사람이 처리하던 문서 중심 절차를 AI가 맡도록 구성한 점이 핵심이다.

실증 결과 서류 처리 시간은 88% 단축됐다. 인식 정확도는 인쇄체 100%, 필기체 97% 이상이었고, 문서 분류와 범죄 유형 추론 정확도는 100%를 기록했다. 저화질 신분증과 필기체 신청서처럼 기존 AI-OCR만으로 판독이 어려웠던 문서의 인식도 개선했다. 또 AI-OCR과 VLM 결과를 교차검증해 신뢰도에 따라 자동 처리와 담당자 검수로 나누고, 은행 폐쇄망에 맞춰 온프레미스로 구축했다. IBK기업은행은 내년 상반기 실제 업무에 적용할 계획이다.