top of page

DRAG(Detection and Reading of Gauges) 인공지능을 이용한 아날로그 게이지 이미지 인식 기술 보고서

2024년 7월 26일



SH INC

  • DOC JIN CHANG 2024-0725 성승제 연구원의 발표 자료와 배경이 되는 논문을 요약하여 문서를 작성

  • 성승제 2024-0725 수정 및 검토

목차

1. 서론

아날로그 게이지는 여전히 많은 산업 현장에서 중요한 역할을 하고 있습니다. 그러나 이러한 게이지의 수동 판독은 시간이 많이 소요되고 오류가 발생할 가능성이 있습니다. 이러한 문제를 해결하기 위해 인공지능(AI)을 활용한 자동 판독 기술이 주목받고 있습니다. 본 보고서에서는 아날로그 및 디지털 게이지의 자동 인식 및 판독 기술에 대해 상세히 살펴보겠습니다.

2. 기술적 접근 방식

2.1 게이지 탐지 및 추적

  • 최신 객체 탐지 알고리즘 활용: YOLO(You Only Look Once)와 같은 최신 객체 탐지 알고리즘을 사용하여 입력 이미지에서 게이지를 탐지하고 추적합니다.

  • 탐지 및 추적 모듈: 전용 모듈이 게이지 탐지 및 추적을 담당합니다.

2.2 아날로그 게이지 처리

아날로그 게이지 처리는 다음과 같은 세부 단계로 이루어집니다:

  1. 게이지 추출: 탐지된 게이지 영역을 추출합니다.

  2. 타원 검출: 컴퓨터 비전 라이브러리의 함수를 사용하여 게이지의 외곽 타원을 검출합니다.

  3. 타원 선택: 검출된 여러 타원 중 최적의 타원을 선택합니다. 선택 기준으로 중심점, 종횡비, 크기 등의 메트릭을 사용합니다.

  4. 타원 추출 및 변환: 선택된 타원을 추출하고 원형으로 변환합니다.

  5. 주요 포인트 탐지: 객체 탐지 알고리즘을 사용하여 게이지의 주요 포인트(바늘 시작점, 끝점)를 탐지합니다.

  6. OCR (광학 문자 인식): 게이지 내 문자를 탐지하고 숫자와 단위로 분류 및 변환합니다.

  7. 텍스트-각도 할당: 탐지된 숫자를 해당 각도에 할당합니다

  8. 유효 검출 필터링: 쿡 거리, 오름차순 정렬, 바운딩 박스 비율 등을 이용하여 부정확한 OCR 검출을 제거합니다.

  9. 바늘 탐지 및 각도 추정: 게이지 바늘을 탐지하고 그 각도를 추정합니다.

  10. 게이지 판독: 추정된 각도와 인식된 숫자를 바탕으로 최종 게이지 값을 계산합니다.

2.3 디지털 게이지 처리

디지털 게이지 처리는 다음과 같은 단계로 이루어집니다:

  1. 게이지 추출: 탐지된 디지털 게이지 영역을 추출합니다.

  2. 문자 탐지: 게이지 내의 디지털 문자를 탐지합니다.

  3. OCR: 탐지된 문자를 인식하여 숫자로 변환합니다.

  4. 게이지 판독: 인식된 숫자를 최종 게이지 값으로 처리합니다.

3. DRAG 시스템 개요

DRAG(Detection and Reading of Gauges) 시스템은 이미지, 비디오, 실시간 스트림 등 다양한 입력 소스에서 게이지를 탐지하고 판독하는 통합 솔루션입니다. 이 시스템은 아날로그 게이지와 디지털 게이지 모두를 처리할 수 있으며, 각 유형에 맞는 특화된 알고리즘을 사용합니다.

3.1 IoT 응용

연구진은 TGIC Computer EYE-2000과 HIKVISION 2MP PT Network 카메라를 사용하여 IoT 애플리케이션의 개념 증명(proof-of-concept)을 구현했습니다. 이 시스템은 Wi-Fi를 통해 이미지를 로컬 컴퓨터로 전송하고, 처리된 결과를 웹 애플리케이션 대시보드에 표시합니다.

4. 합성 데이터를 활용한 아날로그 게이지 판독 기술

4.1 연구 목적 및 방법론

이 연구는 합성 데이터를 이용하여 아날로그 게이지를 자동으로 판독하는 새로운 접근 방식을 제시합니다. 주요 특징은 다음과 같습니다:

  1. 합성 데이터 생성: Roboflow의 데이터 증강 서비스를 사용하여 다양한 아날로그 게이지의 합성 이미지를 생성

  2. 두 단계 CNN 파이프라인: a) 게이지 구성 요소 위치 파악을 위한 세그멘테이션 네트워크 b) 핵심 랜드마크(바늘 시작점, 끝점) 감지를 위한 분류 네트워크

  3. 실제 데이터셋: 검증을 위해 7,967개의 수동으로 라벨링된 실제 게이지 이미지로 구성된 데이터셋 구축

  4. 최적화된 OCR 선택: Keras, EasyOCR, Tesseract 등 다양한 OCR 모델을 비교하여 가장 정확한 모델 사용

4.2 주요 혁신점

  1. 합성 데이터 활용: 대규모의 레이블링된 실제 데이터 수집 없이 효과적인 모델 학습 가능

  2. 도메인 갭 해소: 신중한 이미지 증강을 통해 합성 데이터와 실제 데이터 간의 차이를 효과적으로 줄임

  3. 두 단계 접근 방식: 세그멘테이션과 랜드마크 감지를 분리하여 각 태스크에 특화된 네트워크 사용

  4. 다양한 실제 조건에서의 검증: 다양한 조명 조건, 촬영 거리, 반사 등을 고려한 종합적인 평가

5. OpenCV를 활용한 위험 지역 아날로그 게이지 판독

5.1 연구 목적 및 방법론

이 연구는 위험 지역에서의 아날로그 게이지 판독을 자동화하기 위해 OpenCV를 활용한 접근 방식을 제시합니다. 주요 특징은 다음과 같습니다:

  1. 이미지 전처리: 게이지 이미지를 그레이스케일로 변환하고 노이즈 제거 및 크기 조정

  2. Hough 변환 사용: a) Hough Circle Transform으로 게이지 외곽선 및 중심점 검출 b) Hough Line Transform으로 게이지 포인터 검출

  3. 이미지 후처리: 예측값과 결과값을 이미지에 시각적으로 표시하는 데 사용합니다.

  4. 각도 계산: arctan 함수를 사용하여 포인터의 각도 계산

5.2 주요 결과 및 혁신점

  1. OCR 정확도 향상: 이미지 전처리를 통해 문자 인식의 정확도를 개선

  2. 위험 지역 적용: 화학, 금속, 석유 및 가스, 광업 등 위험한 산업 현장에서의 활용 가능성 제시

  3. 인적 오류 감소: 수동 판독 대비 정확성 향상 및 작업자 안전 개선

5.3 방법론 세부 사항

  1. 이미지 전처리:

  • 그레이스케일 변환

  • 크롭, 노이즈 제거, 리사이징

  1. Hough Circle Transform:

  • 게이지 외곽선 검출

  • 불필요한 원 검출 방지를 위해 반지름 제한 (이미지의 15-50% 범위)

  1. Hough Line Transform:

  • HoughLinesP 함수 사용

  • 포인터 검출을 위한 임계값, 매개변수 조정

  1. 각도 결정:

  • arctan 함수로 포인터와 기준선 사이의 각도, 게이지 문자별 각도 계산, 게이지 값 판독

6. 결론

아날로그 게이지 판독 기술은 컴퓨터 비전과 딥러닝 기술의 발전으로 크게 향상되었습니다. DRAG 시스템, 합성 데이터 활용 방법, 그리고 OpenCV를 이용한 접근 방식은 각각 고유한 장점을 가지고 있으며, 다양한 산업 환경에서의 적용 가능성을 보여줍니다.

특히, 합성 데이터를 활용한 방법은 대규모 실제 데이터 수집의 어려움을 해결하면서도 높은 정확도를 달성할 수 있음을 입증했습니다. OpenCV를 활용한 방식은 위험 지역에서의 실용적인 적용 가능성을 보여주며, 작업자의 안전을 크게 개선할 수 있는 잠재력을 가지고 있습니다.

향후 연구에서는 다양한 게이지 유형에 대한 일반화 능력 향상, 극단적인 환경 조건에서의 성능 개선, 실시간 처리 능력 향상 등이 필요할 것으로 보입니다. 또한, 이러한 기술을 IoT 시스템과 통합하여 산업 4.0의 맥락에서 더욱 효과적으로 활용하는 방안도 연구되어야 할 것입니다.

결론적으로, 아날로그 게이지 판독의 자동화 기술은 산업 현장의 효율성, 정확성, 그리고 안전성을 크게 향상시킬 수 있는 잠재력을 가지고 있으며, 앞으로도 지속적인 연구와 발전이 기대됩니다.

7. 참고 문헌

  1. Peixoto, J., Sousa, J., Carvalho, R., Santos, G., Mendes, J., Cardoso, R., & Reis, A. (2022). Development of an Analog Gauge Reading Solution Based on Computer Vision and Deep Learning for an IoT Application. Telecom, 3(4), 564-580.

  2. Leon-Alcazar, J., Alnumay, Y., Zheng, C., Trigui, H., Patel, S., & Ghanem, B. (2022). Learning to Read Analog Gauges from Synthetic Data. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV).

  3. Adsul, S., Kulkarni, S., Godbole, S., & Narwane, M. (2021). Reading Analog Gauges Using Open CV for Hazardous Area Applications. International Journal of New Technology and Research (IJNTR), Special Issue VIT Campus, 39-42.

  4. Song, J., & Zhang, L. (2015). Research of Automatic Interpretation of Analog Gauge's Indicating Data. International Symposium on Knowledge Acquisition and Modeling (KAM 2015).

  5. Gellaboina, M. K., Swaminathan, G., & Venkoparao, V. (2013). Analog dial gauge reader for handheld devices. In Proceedings of the 2013 IEEE 8th Conference on Industrial Electronics and Applications (ICIEA), 1147-1150.

  6. Lauridsen, J., Grassmé, J., Pedersen, M., Jensen, D., Andersen, S., & Moeslund, T. (2019). Reading Circular Analogue Gauges using Digital Image Processing. In Proceedings of the 14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (Visigrapp 2019), 373-382.

  7. Zuo, L., He, P., Zhang, C., & Zhang, Z. (2020). A robust approach to reading recognition of pointer meters based on improved mask-RCNN. Neurocomputing, 388, 90-101.

  8. Cai, W., Ma, B., Zhang, L., & Han, Y. (2020). A pointer meter recognition method based on virtual sample generation technology. Measurement, 163, 107962.

  9. Wang, L., Wang, P., Wu, L., Xu, L., Huang, P., & Kang, Z. (2021). Computer vision based automatic recognition of pointer instruments: Data set optimization and reading. Entropy, 23(2), 272.

  10. Milana, E., Ramírez-Agudelo, O.H., Estevam Schmiedt, J. (2022). Autonomous Reading of Gauges in Unstructured Environments. Sensors, 22,6681.

 
 

Commentaires

bottom of page