게임 화면을 인식하여 자동으로 번역해보려고 애쓴지 한 달이 넘어가네요..평일은 퇴근후에..주말에는 하루종일 방구석에 앉아 어떻게 하면 일본어로 된 게임을 한글화를 쉽게 할 수 있을지 머리를 꽁꽁 싸매고 있는데요.
약 한 달간 개발했던 프로그램의 개발 방향을 초기화 시키고 새로운 방법으로 처음부터 접근해보고 있습니다. 그래서 지난 주말..어제였죠.? 미친듯이 3시간동안 AI 모델 학습을 위한 이미지를 수집하고 라벨링을 진행하였습니다.
어제 새벽에 저의 그래픽카드를 혹사(?) 시키며 열심히 학습을 시켰고, 그 결과를 공유해보고자 합니다.아래 영상은 GVT에 Yolo5 커스텀 모델을 적용하여 데어 랑그릿사 콘솔 게임 화면의 텍스트를 검출하고 라벨을 분류하는 영상입니다.
영상에 보이는 각 라벨별 의미는 아래와 같습니다.
- 초록색 라벨(character)은 캐릭터 이름
- 빨간색 라벨(scenario)은 대사(대본)
- 파란색 라벨(Interface)은 게임 화면에서 일본어로 된 구성요소(직업, 마법, 저장, 불러오기, 턴 종료 등등…)
결론적으로는 미흡한 부분이 많지만 1차적으로 제가 원하던 인식 성능에 도달했습니다. 한 달간 고생한 보람이 있네요^^
실험 환경 구성
- 닌텐도 슈퍼 패미컴 (SFC, SNES) 및 랑그릿사 (Der Langrisser)
- 파운드(Pound) AV to HDMI 영상 변환기
- 에버미디어(EverMedia) GC311 영상 & 음성 캡쳐 장비
- COLORFUL 지포스 RTX 3060 토마호크 D6 12GB LHR
GVT(GameVisionTranslator)는 현재 연구개발 단계입니다. 배포 가능한 품질을 확보한 v1.0이 만들어지면 베타 테스트를 위한 신청자를 모집하여 선택적으로 배포 예정입니다. 툴 자체는 무료 배포이나 게임 번역 DB는 유/무료로 구분되어 서비스될 수 있습니다. 참고부탁드립니다.
