지난 시간에는 실시간 일본어 탐색(검출)을 진행했었는데요. 오늘은 GVT에 Yolo5 커스텀 모델 & paddleOCR 모델을 적용하여 일본어 텍스트 인식 속도를 높이고 이미지로 된 글자를 텍스트 문자로 변환하여 번역 화면에 전시하였습니다.
OCR에서 많은 난관(프레임 드랍 등)이 있을것으로 예상했는데요. 완벽하진 않지만 꽤 괜찮은 인식 속도가 나와서 영상을 찍어 보았습니다. 큰 산을 하나 넘은 느낌입니다. 일본어 글자 탐색 및 인식 성능은 최소 30 fps 이상으로 목표로 하고 있습니다.
실험 환경 구성
- 닌텐도 슈퍼 패미컴 (SFC, SNES) 및 랑그릿사 (Der Langrisser)
- 파운드(Pound) AV to HDMI 영상 변환기
- 에버미디어(EverMedia) GC311 영상 & 음성 캡쳐 장비
- COLORFUL 지포스 RTX 3060 토마호크 D6 12GB LHR
GVT(GameVisionTranslator)는 현재 연구개발 단계입니다. 배포 가능한 품질을 확보한 v1.0이 만들어지면 베타 테스트를 위한 신청자를 모집하여 선택적으로 배포 예정입니다. 툴 자체는 무료 배포이나 게임 번역 DB는 유/무료로 구분되어 서비스될 수 있습니다. 참고부탁드립니다.
