영상에서 흰색 문장 추출 하는 방법 (OpenCV, HSV, Contours)

영상에서 흰색 문장 추출 하는 방법 (OpenCV, HSV, Contours)

안녕하세요. 오토소장입니다. 오늘은 게임 화면에서 흰색 문장을 전통적인 방법으로 탐색하는 부분을 한번 진행해 보았습니다. AI 모델 없이 탐색하려니 정말 힘드네요. 장면마다 잘 동작할 때가 있고 동작하지 않을 때가 있는데요. 잘 동작하는 장면을 위주로 정리해 보겠습니다. HSV로 흰색 글자만 추출 세가 새턴 랑그릿사 2의 시나리오 설명 장면에서 HSV 색 공간을 이용하여 흰색만 추출해 보았습니다. HSV는 RGB와는 조금 다른 색 공간을 말합니다. RGB는 빨강, 초록,...
(GVT v0.37) 디버그(Debug) 모드로 AI 인식 및 번역 테스트

(GVT v0.37) 디버그(Debug) 모드로 AI 인식 및 번역 테스트

안녕하세요. 오토소장입니다. 오늘은 GVT(Game Vision Translator)로 세가 새턴 랑그릿사 2를 디버그(Debug) 모드로 AI 인식 및 번역 테스트를 해보았습니다. 최근에 폴리메가(PolyMega)라는 에뮬 콘솔을 구하게 되면서 세가 새턴 랑그릿사 트리뷰트 타이틀을 플레이할 수 있게 되었네요. 슈퍼 패미컴이 아닌 세가 새턴 게임 타이틀을 돌렸을 때도 잘 동작하는지 확인하기 위한 테스트를 진행해 보았습니다. 슈퍼 패미컴과 다르게 세가 새턴 버전은 화면 해상도를...
(GVT v0.36) 번역된 대사 영역이 흔들리는 현상 개선

(GVT v0.36) 번역된 대사 영역이 흔들리는 현상 개선

안녕하세요. 오토소장입니다. 이번 글은 GVT의 인식된 게임 대사 영역이 흔들리는 현상을 개선한 내용에 대해 설명합니다. GVT는 여러 가지 AI 모델을 이용하여 게임 화면 내에 존재하는 일본어를 자동으로 탐지(Detection) 및 추적(Tracking) 하는 알고리즘을 가지고 있습니다. 하지만 글자를 추적하는 과정에서 미세하게 x, y 좌표 1만큼 탐지하고 추적되기 때문에 추적 경계 박스 (Tracking Bounding Box)가 흔들리는 현상이 발생합니다. 이런 문제를...
(GVT v0.20) 단어집(WordBook) DB와 유사도 비교를 이용한 번역 정확성 개선

(GVT v0.20) 단어집(WordBook) DB와 유사도 비교를 이용한 번역 정확성 개선

안녕하세요. 오토소장 입니다. 지난 글에서는 실시간 AI OCR을 이용하여 일본어를 인식하고 Text로 변환하는 작업을 진행했었는데요. 이번 시간은 수집된 일본어 단어 및 문장들은 네이버 파파고(Papago)를 사용하여 번역하였습니다. 이를 통해 만든 단어집(WordBook) DB와 유사도 비교 알고리즘 적용을 통해 번역의 정확성을 기존보다 크게 향상시켰습니다. 또한 한식구 네이버 카페의 낙월옥량님이 예전에 롬 분석을 해서 정리해놓은 랑그릿사 대사집 관련 강의글과 대사 추출...
(GVT v0.16) Yolo5 & paddleOCR AI 모델 적용을 통한 광학 문자 인식(OCR)

(GVT v0.16) Yolo5 & paddleOCR AI 모델 적용을 통한 광학 문자 인식(OCR)

지난 시간에는 실시간 일본어 탐색(검출)을 진행했었는데요. 오늘은 GVT에 Yolo5 커스텀 모델 & paddleOCR 모델을 적용하여 일본어 텍스트 인식 속도를 높이고 이미지로 된 글자를 텍스트 문자로 변환하여 번역 화면에 전시하였습니다. OCR에서 많은 난관(프레임 드랍 등)이 있을것으로 예상했는데요. 완벽하진 않지만 꽤 괜찮은 인식 속도가 나와서 영상을 찍어 보았습니다. 큰 산을 하나 넘은 느낌입니다. 일본어 글자 탐색 및 인식 성능은 최소 30 fps 이상으로...
(GVT v0.13) Yolo5 모델을 이용한 텍스트 객체 인식 및 라벨 분류

(GVT v0.13) Yolo5 모델을 이용한 텍스트 객체 인식 및 라벨 분류

게임 화면을 인식하여 자동으로 번역해보려고 애쓴지 한 달이 넘어가네요..평일은 퇴근후에..주말에는 하루종일 방구석에 앉아 어떻게 하면 일본어로 된 게임을 한글화를 쉽게 할 수 있을지 머리를 꽁꽁 싸매고 있는데요. 약 한 달간 개발했던 프로그램의 개발 방향을 초기화 시키고 새로운 방법으로 처음부터 접근해보고 있습니다. 그래서 지난 주말..어제였죠.? 미친듯이 3시간동안 AI 모델 학습을 위한 이미지를 수집하고 라벨링을 진행하였습니다. 어제 새벽에 저의 그래픽카드를 혹사(?)...