안녕하세요. 오토소장입니다.
이번 글은 GVT의 인식된 게임 대사 영역이 흔들리는 현상을 개선한 내용에 대해 설명합니다.
GVT는 여러 가지 AI 모델을 이용하여 게임 화면 내에 존재하는 일본어를 자동으로 탐지(Detection) 및 추적(Tracking) 하는 알고리즘을 가지고 있습니다. 하지만 글자를 추적하는 과정에서 미세하게 x, y 좌표 1만큼 탐지하고 추적되기 때문에 추적 경계 박스 (Tracking Bounding Box)가 흔들리는 현상이 발생합니다.
이런 문제를 해결하기 위해 각 추적기(Tracker)의 추적 경계박스에 대해 프레임별로 이동 평균 필터(Moving Average Filter)를 적용하였습니다.
기능 개선 후 플레이 해보니 게임 화면의 번역된 대사를 읽기가 훨씬 수월해졌네요^^
실험 환경 구성
- 닌텐도 슈퍼 패미컴 (SFC, SNES) 및 랑그릿사 (Der Langrisser)
- 파운드(Pound) AV to HDMI 영상 변환기
- 에버미디어(EverMedia) GC311 영상 & 음성 캡쳐 장비
- COLORFUL 지포스 RTX 3060 토마호크 D6 12GB LHR
GVT(GameVisionTranslator)는 현재 연구개발 단계입니다. 배포 가능한 품질을 확보한 v1.0이 만들어지면 베타 테스트를 위한 신청자를 모집하여 선택적으로 배포 예정입니다. 툴 자체는 무료 배포이나 게임 번역 DB는 유/무료로 구분되어 서비스될 수 있습니다. 참고부탁드립니다.
