최근 레트로 게임의 유혹에 이끌려 닌텐도의 슈퍼 패미컴을 구하게 되었습니다.

닌텐도 슈퍼 패미컴과 컨트롤러

원더보이와 같은 액션 게임은 일본어의 장벽 없이 쉽게 즐길 수 있는 반면에 젤다의 전설과 같은 JRPG 장르는 언어의 장벽이 생각보다 큽니다. 현재는 스토리를 이해하면서 플레이해보고 싶어 자동으로 번역해 보고 싶은 욕심이 생겼습니다.

원더보이와 젤다의 전설 1

현재 가지고 있는 에버미디어 캡처 장비를 활용해서 슈퍼 패미컴의 화면을 스트리밍해서 PC로 가져와 봅니다. 지연시간도 생각보다 길지 않아 거의 실시간급으로 스트리밍 할 수 있습니다.

캡처 장비를 이용한 스트리트 파이터 2 스트리밍

하드웨어적으로 기초적인 작업은 모두 끝났습니다. 이제 소프트웨어 적으로 이 스트리밍 화면 정보와 인공지능 기술을 이용하여 글자를 인식하고 번역을 해봅니다. 주말에 집중해서 실험해 보니 약 12시간 정도 소요된 것 같습니다.

SFC 젤다의 전설1에 인공지능 적용

처음에는 화면을 인식하고 번역하는데 약 15초~20초 정도 소요되었으나 코드 리팩터링을 통해 구조를 대대적으로 개선했더니 현재는 약 5초~7초 정도의 시간이 소요됩니다. 실시간급으로 개선하기 위해 앞으로도 계속 연구해 봐야겠습니다.

아래의 실험 영상을 보면 위 쪽이 원본 화면, 아래 쪽이 번역화면 입니다. 급한대로 만들다보니 현재는 이 속도가 최선이네요.

프로토타입을 고수준 언어인 파이썬으로 구현해 보았는데요. 확실히 저수준 언어인 C/C++보다는 엄청 느리네요… 파이썬으로 빠르게 핵심적인 기능만 구현해 보았는데 막연한 생각으로만 도전했지만 실험 후에는 구현 가능하다는 걸 알았습니다. 이제 성능을 최대로 끌어올리기 위해 저수준 언어인 C/C++로 천천히 느긋하게 컨버팅해 봐야겠습니다.

우선은 직접 사용해 볼 만한 정도의 성능은 나오는 것 같아 일본어의 고통에서 조금은 해방될 것 같네요^^

본 칼럼 내용에 대해 문의 하실 사항이나 필요하신 칼럼 주제가 있으시면 언제든지 댓글로 알려주세요.