ABSTRACT
This study proposes a deep learning-based image anomaly detection system to identify irregular defects in metallic DC fuses. In the manufacturing industry, product quality control is directly linked to productivity, and appearance-related defects, such as surface imperfections, impact competitiveness and reliability. However, conventional visual inspection and simple image-processing methods have limitations in inspection speed and precision, often struggling to accurately detect complex and diverse irregular defects. To address these challenges, this study employs Dinomaly, an unsupervised reconstructionbased Transformer model that can be trained using only normal images. The proposed method takes images of DC fuses as input, automatically detects anomalous regions, and visualizes the location and morphology of irregular defects through an anomaly map, facilitating intuitive interpretation. Additionally, various data preprocessing techniques, including adjustments for diverse illumination conditions and brightness, are applied to augment the dataset, reflecting real-world environmental variations and ensuring robust performance. Experimental results demonstrate that the proposed approach effectively detects irregular defects in DC fuse data. This study is expected to contribute to the automation of DC fuse quality inspection processes, enhance the reliability of automotive electronic components, and advance quality management in smart manufacturing.
-
KEYWORDS: DC fuse, Defect detection, Deep learning, Transformer, Dinomaly
-
KEYWORDS: DC퓨즈, 이상탐지, 딥러닝, 트랜스포머, 디노멀리
1. 서론
제조 산업에서 제품의 품질 관리는 생산성과 수율, 그리고 매출과 직결되는 핵심 요소이다[
1]. 특히 금속 부품의 경우 표면 결함과 같은 외형적 불량은 제품 신뢰도와 경쟁력에 직접적인 영향을 미치며, 전장부품과 같이 안정성과 내구성이 요구되는 분야에서는 외관 품질의 확보가 더욱 중요하게 다루어진다[
2]. 전장 시스템의 고도화 및 전동화 추세에 따라 전기·전자 부품의 적용 범위가 확대되고 사용 환경 또한 다양해지고 있는 상황에서, 보호 소자로서 기능을 수행하는 DC Fuse의 신뢰성 확보는 필수적인 요구사항으로 판단된다. 이러한 배경에서 금속 Element DC Fuse의 외형적 불량을 신속하고 일관되게 판별할 수 있는 자동화 검사 기술의 필요성이 지속적으로 증가하고 있다[
3].
이처럼 자동화 검사에 대한 요구가 높아지고 있음에도 불구하고, 실제 생산 현장에서는 여전히 작업자 육안 검사 또는 단순 영상처리 기반의 검사 방식이 많이 활용되고 있다[
4]. 그러나 육안 검사는 검사자의 숙련도와 피로도에 따라 편차가 발생할 수 있으며, 검사 속도와 정확도 측면에서도 한계가 존재한다. 또한 일반적인 영상처리 방식은 조명 변화, 명도 편차, 반사광, 촬영 각도 등 다양한 환경 조건 변화에 민감하여 동일한 제품이라도 영상 특성이 달라질 수 있고, 이로 인해 오탐지 및 미탐지 가능성이 증가할 수 있다[
2,
5]. 특히 DC Fuse에 발생하는 외형적 결함은 크기나 형태가 일정하지 않은 비정형 형태로 나타나는 경우가 많아, 규칙 기반으로 결함 패턴을 일반화하여 판별하기에는 어려움이 따른다[
6,
7].
또한 비정형 결함은 발생 빈도가 상대적으로 낮고 형태가 다양하여 결함 데이터를 충분히 확보하고 라벨링하기 어렵기 때문에, 대량의 결함 데이터를 요구하는 지도학습 기반의 방식 또한 산업 현장에서의 적용이 어렵다. 따라서 정상 데이터로부터의 이탈 정도를 기반으로 이상 여부를 판별하는 이상탐지(Anomaly Detection)는 제조 결함 검출에서 현실적인 대안으로 고려될 수 있다. 특히 이미지 이상탐지(Image Anomaly Detection)는 이상 존재 여부뿐 아니라, 이상 영역의 위치를 픽셀 단위(Pixel-level)로 추정하여 시각화할 수 있다는 점에서 공정 운영 및 원인 분석 측면에서도 유용하다[
8,
9]. 최근에는 입력 이미지를 정상 패턴으로 재구성하고 재구성 오차를 이용하여 이상 영역을 강조하는 재구성 기반(Reconstruction-based) 방법이 활발히 적용되고 있다[
10]. 또한 복잡한 표면 패턴을 갖는 금속 부품의 경우, 이미지의 일부만 보지 않고 부품 전체 영역의 패턴을 함께 고려할 수 있는 Transformer 기반 학습이 효과적일 것으로 기대된다[
11].
따라서 본 연구에서는 금속 Element DC Fuse의 비정형 결함을 효과적으로 검출하기 위하여, 정상 이미지만으로 학습 가능한 비지도 재구성 기반 Transformer 모델인 Di nomaly를 적용한 이미지 이상탐지 시스템을 제안한다[
12]. 제안 시스템은 DC Fuse 이미지를 입력으로 받아 이상 영역을 자동으로 탐지하며, 재구성 결과와 입력 간 차이를 기반으로 Anomaly Map을 생성함으로써 결함의 위치와 형태를 직관적으로 확인할 수 있도록 한다. 또한 다양한 형태의 이상 패턴이 존재하는 제조 환경을 고려하여 정상 이미지 중심 학습 구조를 유지하면서도 여러 결함 양상을 포괄적으로 다룰 수 있는 비지도 학습 기반 구조를 적용하여, 결함 유형의 다양성에 대한 대응성을 확보하고자 하였다.
또한 실제 제조 공정에서는 촬영 조건이 일정하지 않으므로, 데이터 구성 단계에서 환경 변동성을 충분히 반영하는 것이 중요하다[
13]. 그래서 본 연구에서는 직접 촬영하여 초기 수집된 DC Fuse 이미지 80장을 기반으로 조명, 명도, 반사 조건 및 촬영 각도 변화를 다양하게 적용하여 총 400장의 정상 이미지 데이터셋을 구축하였으며, 정상 및 비정상 이미지에 대한 Ground Truth (GT) 레이블 체계를 이미지 단위(Image-level) 및 픽셀 단위로 함께 구축하였다. 마지막으로 모델이 산출하는 Anomaly Score 분포를 분석하고 ROC (Receiver Operating Characteristic) 및 정밀도(Precision)-재현율(Recall) 기반 평가를 참고하여 임곗값(Threshold)을 조정함으로써, 정상/비정상 판별 과정에서의 오탐지 및 미탐지 가능성을 최소화하고 안정성을 확보하였다.
이와 같은 방식을 통해 본 연구는 DC Fuse 품질 관리 공정의 자동화 가능성을 제시하고, 전장부품 신뢰성 향상 및 스마트 제조 환경에서의 품질 관리 고도화에 기여하고자 한다.
2. 이상탐지 기반 결함 검출
2.1 제조 결함 검출에서의 이상탐지
제조 공정에서 수집되는 제품 이미지 데이터는 정상 제품이 대부분을 차지하며, 불량 데이터는 발생 빈도가 낮고 형태가 다양하게 나타나는 경우가 많다[
8]. 이처럼 불량 데이터의 수집이 제한적이고 불량 유형이 일정하지 않은 환경에서는, 모든 결함 유형에 대해 충분한 학습 데이터를 확보한 뒤 지도학습 기반으로 분류·검출 모델을 구성하는 방식에 한계가 존재한다[
8]. 또한 결함의 형태가 비정형일수록 라벨링 기준을 일관되게 정의하기 어렵고, 픽셀 단위 정답 데이터를 구축하는 데 많은 비용과 시간이 소요될 수 있다.
따라서 최근 제조 결함 검출 분야에서는 정상 데이터의 패턴을 우선적으로 학습한 뒤, 입력 데이터가 정상 패턴에서 벗어나는 정도를 기반으로 이상 여부를 판별하는 이상탐지가 현실적인 대안으로 적용되고 있다[
8]. 이상 탐지는 정상 데이터를 기준으로 모델을 학습하므로, 사전에 정의되지 않은 새로운 형태의 결함이 발생하더라도 이상을 탐지할 수 있다는 장점이 있다. 다만 이상 탐지의 성능은 정상 데이터의 변동성을 얼마나 안정적으로 학습하는지, 그리고 이상 정도를 수치화한 Anomaly Score를 기반으로 정상/비정상을 구분하는 임곗값을 어떻게 설정하는지에 따라 크게 달라질 수 있다[
14].
이상탐지는 데이터의 유형에 따라 다양한 형태로 적용될 수 있으며, 그중 이미지 이상탐지는 입력 이미지가 정상인지 여부를 판별하는 동시에, 이미지 내에서 이상이 나타나는 위치를 추정할 수 있다는 점에서 제조 외관 검사에 적합하다. 제조 현장에서는 단순히 불량 여부를 판별하는 것뿐 아니라, 불량이 발생한 위치 및 형태를 확인하여 원인을 분석하고 공정 조건을 개선하는 과정이 중요하다[
8]. 이러한 관점에서 이미지 이상탐지는 이상 정도를 나타내는 Anomaly Score와 함께, 픽셀 단위의 이상 분포를 나타내는 Anomaly Map을 제공함으로써 결함의 시각적 해석 가능성을 높일 수 있다[
8].
일반적으로 Anomaly Map은 입력 이미지에서 이상이 발생했을 가능성이 높은 영역을 강조한 결과로, 결함의 위치와 형태를 직관적으로 확인할 수 있게 한다. 따라서 성능 평가 또한 이미지 단위의 정상/비정상 분류 성능뿐 아니라, 픽셀 단위 또는 영역 단위에서 이상 영역을 얼마나 정확히 국소화(Localization)할 수 있는지가 함께 고려된다[
8]. 특히 DC Fuse와 같이 질감 변화가 복잡한 대상에서는 결함이 미세하게 나타나는 경우가 많으므로, Anomaly Map을 통한 국소화 성능이 실제 적용성 측면에서 중요한 요소가 될 수 있다.
이미지 이상탐지 방법은 다양한 관점에서 분류될 수 있으나, 제조 외관 검사에서는 정상 이미지 중심으로 학습이 가능하고 구현이 비교적 단순한 재구성 기반이 많이 활용된다. 재구성 기반 방법은 정상 이미지를 입력으로 모델을 학습시키고, 정상 입력에 대해서는 원본을 정밀하게 재구성하도록 유도한다. 이후 추론 단계에서 입력 이미지에 이상이 포함될 경우 정상 패턴으로의 재구성이 충분히 이루어지지 않아 재구성 오차가 증가한다는 가정 하에, 입력과 재구성 결과의 차이를 Anomaly Score 및 Anomaly Map으로 활용한다.
대표적인 재구성 기반 방법으로는 오토인코더(Auto-encoder) [
15], 변분 오토인코더(VAE) [
16], GAN 기반 재구성[
17], U-Net 기반 재구성[
18] 등이 있으며, 입력과 재구성 간의 픽셀 차이 또는 특징 공간(Feature Space)에서의 차이를 Anomaly Score로 사용한다. 다만 재구성 기반 방법은 모델의 표현력이 충분히 크거나 학습이 과도하게 일반화될 경우 이상 영역까지 정상처럼 재구성하는 문제가 발생할 수 있으며, 이 경우 검출 성능이 저하될 수 있다[
19]. 반대로 모델이 정상 데이터의 변동성을 충분히 학습하지 못하면 정상 샘플에 대해서도 재구성 오차가 크게 나타나 오검출 가능성이 증가할 수 있다[
14]. 따라서 재구성 기반 이상탐지에서는 모델 구조의 설계와 함께, 데이터 전처리 및 증강을 통해 정상 데이터 분포를 안정적으로 학습하도록 하는 전략이 중요하다.
최근 비전 분야에서는 Self-attention 메커니즘을 기반으로 하는 Transformer 계열 모델이 적용되고 있으며, 이미지 이상탐지에서도 Transformer 구조를 활용하려는 연구가 증가하고 있다. Transformer는 이미지의 여러 위치 정보를 동시에 참고할 수 있어, 국소적인 특징뿐 아니라 부품 전체 영역의 패턴을 함께 고려하는 표현 학습에 유리한 특성을 가진다[
20]. 이러한 특성은 본 연구의 대상인 금속 Element DC Fuse가
Fig. 1과 같이 금속 표면의 미세한 텍스처가 넓은 영역에 걸쳐 분포하고, 홀 배열 및 선형 구조와 같은 반복 패턴이 제품 전반에 존재하는 경우, 정상 패턴의 전반적인 일관성을 학습하는 데 도움이 될 수 있으며, 결과적으로 이상 영역을 보다 안정적으로 검출할 수 있다.
본 연구에서는 재구성 기반 Transformer 모델인 Dinomaly를 사용한다[
12]. Dinomaly의 구조는
Fig. 2에 나타낸 바와 같다. Dinomaly는 정상 이미지 기반 비지도 학습이 가능하며, 입력 이미지 자체를 직접 복원하기보다는 Encoder가 추출한 특징(Feature)과 Decoder가 재구성한 특징 간 불일치를 이용하여 Anomaly Score와 Anomaly Map을 산출하는 방식으로 이상 영역을 제시한다[
12]. 또한 MUAD (Multi-class Unsupervised Anomaly Detection, 다중 클래스 비지도 이상탐지) 환경에서 성능 저하를 유발할 수 있는 Identity Mapping/Over-generalization 문제를 완화하고 정상 패턴 학습의 안정성을 확보하기 위해, Dropout 기반의 Noisy Bottleneck과 Loose Reconstruction과 같은 설계 요소를 포함한다[
12]. 이러한 구조적 특성은 비정형 결함이 다양한 형태로 나타나는 제조 환경에서 정상 패턴을 보다 견고하게 학습하고, 결함을 특징 재구성 차이 기반으로 효과적으로 강조할 수 있다. 또한 D i nomaly는 MVTec-AD, VisA, Real-IAD 등 대표 벤치마크에서 MUAD 및 Class-separated 설정 모두에서 전반적으로 우수한 성능을 보이며 SOTA를 달성하였다[
12]. 따라서 산업용 외관 검사 데이터에 대한 적용 가능성이 검증된 모델이라는 점에서 본 연구의 대상(DC Fuse)에 적합하다.
3. 제안 방법
3.1 전체 시스템 개요
본 연구에서는 금속 Element DC Fuse의 비정형 결함을 효과적으로 검출하기 위하여, 정상 이미지 기반 비지도 학습이 가능한 Dinomaly를 활용한 이미지 이상 탐지 시스템을 제안한다. 제안 시스템은 DC Fuse 이미지를 입력으로 받아 전처리 및 데이터 증강을 거친 후, Dinomaly 모델을 통해 Anomaly Score와 이상 영역의 Anomaly Map을 산출한다. 이후 Anomaly Score 기반으로 정상/비정상을 판별하기 위해 임곗값을 적용하며, Anomaly Map을 통해 결함의 위치 및 형태를 직관적으로 확인할 수 있도록 한다. 또한 임곗값은 Anomaly Score 분포를 분석 하고 ROC 및 정밀도-재현율 기반 평가 결과를 참고하여 조정함으로써 오검출 및 미검출을 최소화하도록 하였다.
3.2 데이터 전처리 및 증강
제조 현장에서는 조명 조건, 명도 편차, 반사광, 촬영 각도 변화 등 다양한 요인으로 인해 동일 제품이라도 영상 특성이 달라질 수 있다. 따라서 데이터 구성 단계에서 환경 변동성을 충분히 반영하는 것이 중요하다. 이에 본 연구에서는
Figs. 3 및
4와 같은 촬영 장비를 이용하여 DC Fuse 이미지를 직접 촬영하였으며,
Fig. 5와 같이 초기 이미지 데이터를 구축하였다. 이후 구축된 이미지에 대해 조명 및 명도 변화, 반사 조건 차이, 촬영 각도 변화 등을 고려한 전처리 및 증강을 적용하여 정상 데이터의 분포를 확장하였다.
특히 조명·명도 조건은 DC Fuse 표면에서 결함 신호의 대비를 크게 변화시킬 수 있으므로, 다양한 광량 및 밝기 변화가 포함되도록 데이터를 구성하였다. 이를 통해 모델이 특정 조건에 과도하게 적응하는 현상을 완화하고, 실제 공정 환경과 동일한 데이터를 확보하고자 하였다. 또한
Figs. 6 및 7과 같이 성능 평 가를 위해 정상/비정상에 대한 GT를 이미지 단위 및 픽셀 단위로 구축하여, 이미지 단위 판별 성능과 Anomaly Map 기반 국소화 성능을 함께 검증할 수 있도록 하였다.
4. 실험
4.1 데이터셋 구성 및 분할
본 연구에서는 금속 Element DC Fuse의 비정형 결함 검출 성능을 검증하기 위해
Figs. 5-
7과 같이 직접 구축한 정상 데이터 400장과 결함 데이터 167장, 그리고 결함 위치에 대한 GT 데이터 167장으로 구성된 데이터셋을 사용하였다. 정상 데이터 는 초기 수집 이미지 80장에 대해 3.2절에서 설명한 전처리 및 증강(조명·명도·반사 조건 및 촬영 각도 변화 반영)을 적용하여 400장으로 확장한 데이터이며, 결함 데이터는 실제 공장 환경에서 발생한 결함(표면 찍힘, Chip, 펀칭부 Burr, 끝단 Burr, 밴딩부 Crack, 노치부 Crack)를 사용하였다. GT는 이미지 단위의 정상/비정상 판별뿐 아니라 Anomaly Map 기반의 픽셀 단위 국소화 성능 평가를 위해 결함 영역을 마스킹한 형태로 구축하였다.
비지도 학습 기반 이상탐지 특성을 고려하여 학습은 정상 이미지로만 수행하였으며, 결함 이미지 및 GT는 실험 단계에서 성능 평가에 활용하였다. 또한 촬영 조건 변화로 인한 편향을 최소화하기 위해, 데이터 분할 시 조명·명도 조건이 특정 세트에 편중되지 않도록 구성하였다.
4.2 실험 환경 및 구현 설정
본 연구에서는 Dinomaly 원 논문에서 제시된 모델 구조 및 학습 방식을 기반으로 모델을 구성하고, DC Fuse 데이터에 적용하여 학습 및 추론을 수행하였다. 학습은 정상 이미지 기반 비지도 학습 방식으로 진행하였으며, 입력 이미지는 모델 입력 규격에 맞추어 크기 조정(Resize) 및 정규화(Normalization)를 수행하였다. 실험은 CPU 13th Gen Intel® Core™ i9-13900K, GPU NVIDIA GeForce RTX 4090, 메모리 128 GB 환경에서 수행하였고, 프레임워크는 PyTorch(CUDA 기반)를 사용하였다. 또한 입력 해상도, 배치 크기, 학습률 등 모델 학습에 사용한 주요 하이퍼 파라미터(Hyper Parameter)는
Table 1에 정리하였다.
본 연구에서는 Dinomaly 모델이 출력하는 Anomaly Score와 Anomaly Map을 이용하여, 이미지 단위 성능과 픽셀 단위 성능을 함께 평가하였다. 이미지 단위 평가는 정상/비정상 분류 관점에서의 성능을 확인하는 데 목적이 있으며, 픽셀 단위 평가는 결함 위치를 얼마나 정확하게 강조하는지에 초점을 둔다.
4.3.1 이미지 단위 평가 지표
이미지 단위 평가는 각 이미지에 대해 산출된 Anomaly Score를 이용하여 정상/비정상을 판별하며, 다음과 같은 지표를 사용하였다.
1) I-AUROC (Image-level AUROC): 임곗값을 변화시키며 얻는 ROC 곡선의 면적을 계산하였다. AUROC는 특정 임곗값에 고정되지 않은 지표로, 점수 기반 분류기의 전반적인 분리 성능을 평가하는 데 사용된다.
2) I-AP (Image-level Average Precision): 정밀도-재현율 곡선 기반의 평균정밀도(Average Precision)를 산출하였다. 불균형 데이터 즉, 정상 비중이 큰 경우에서 분류 성능을 해석하는 데 유용한 지표로 사용된다.
3) I-F1 (Image-level F1 Score):
식(1)과 같이 정밀도와 재현율의 조화평균으로 정의되며, 본 연구에서는 PR 곡선을 기반으로 F1이 최대가 되는 임곗값에서의 F1-Max를 산출하여 이미지 단위 F1로 사용하였다.
4.3.2 픽셀 단위 평가 지표
픽셀 단위 평가는 Anomaly Map과 GT 마스크를 비교하여 결함 위치 국소화 성능을 정량화하며, 다음 지표를 사용하였다.
1) P-AUROC (Pixel-level AUROC): Anomaly Map의 픽셀 점수와 GT 마스크를 이용하여 픽셀 단위 ROC 곡선 면적을 계산하였다.
2) P-F1 (Pixel-level F1 Score): Anomaly Map을 임곗값으로 이진화하여 얻은 예측 결함 마스크와 GT 마스크를 비교해 픽셀 단위 정밀도와 재현율을 계산한 후,
식(1)과 같이 F1 Score를 산출하였다. 이미지 단위와 동일하게, 본 연구에서는 PR 곡선 기반으로 F1이 최대가 되는 임곗값에서의 F1-Max를 픽셀 단위 F1로 사용하였다.
3) P-AUPRO (Area Under Per-region Overlap): 결함이 하나의 연속된 영역으로 존재한다는 점을 고려하여, 예측 마스크와 GT 결함 영역 간의 영역 단위 겹침 정도(Per-region Overlap, PRO)를 계산하고 이를 FPR (False Positive Rate) 변화에 따라 적분한 면적을 사용하였다. 본 연구에서는 일반적으로 사용되는 방식과 동일하게, FPR 0-0.3 구간에서의 PRO 곡선 면적(AUPRO)을 산출하여 국소화 성능을 평가하였다.
4.4 임곗값 조절
추론 단계에서 산출되는 Anomaly Map에는 실제 결함뿐 아니라 조명 변화, 반사 및 빛 번짐과 같은 촬영 환경 요인에 의한 배경 응답이 함께 포함될 수 있다. 이로 인해 결함이 없는 정상 영역에서도 낮은 수준의 Anomaly Score가 넓게 분포하며, 결함 영역이 과도하게 확장되어 강조되는 과검출이 발생할 수 있다. 따라서 본 연구에서의 임곗값은 정상/비정상 판정을 위한 Anomaly Score 임곗값이 아니라, Anomaly Map에서 환경 요인에 의한 배경 응답을 억제하여 결함 영역을 보다 명확히 분리하기 위한 후처리 파라미터로 적용하였다.
Fig. 8은 임곗값 변화에 따른 Anomaly Map 시각화 결과를 나타낸다. 임곗값을 적용하지 않은 경우에는 반사 및 빛 번짐 영향으로 정상 영역까지 이상으로 강조되는 경향이 관찰되었으나, 임곗값을 조정함에 따라 촬영 환경 요인에 의한 배경 응답이 감소하고 결함 영역이 상대적으로 뚜렷하게 강조되는 것을 확인할 수 있다. 다만 임곗값이 과도하게 낮거나 높을 경우 결함 영역이 과도하게 확장되거나, 반대로 미세 결함 신호가 제거되어 일부 결함이 약화될 수 있다. 따라서 임곗값 후보(x, 0.100, 0.105, 0.110, 0.115, 0.120)에 대해 F i g. 8의 시각화 결과와 픽셀 단위 성능 지표를 산출한 정량 지표
Table 2를 함께 고려하여 적절한 값을 선정하였다. 그 결과, 임곗값을 적용하지 않은 대비 임곗값 적용 시 배경 응답에 따른 과검출이 감소하면서 P-F1이 0.3683에서 0.4004(임곗값 = 0.100)로 개선되었고, 후보 중 임곗값 = 0.115에서 P-F1이 0.4035으로 가장 높게 나타났다. 또한 F i g. 8의 시각화 결과에서도 촬영 환경 요인에 의한 이상 강조가 완화되는 경향이 확인되어, 이후 실험에서는 픽셀 단위 국소화 성능과 시각화 결과를 종합적으로 고려하여 임곗값을 0.115로 설정하였다.
선정한 임곗값 = 0.115를 적용하여 DC Fuse 데이터셋에 대한 최종 성능을 평가하였다.
Fig. 9는 테스트 데이터에서의 Anomaly Map 결과 예시를 나타내며, 비정형 결함이 발생한 영역이 Anomaly Map에서 집중적으로 강조되는 것을 확인할 수 있다. 또한
Table 3은 최종 정량 성능 결과를 정리한 것이다. 이미지 단위 지표(I-AUROC, I-AP, I-F1)는 모두 1.0000으로 나타나 정상/비정상 판별 측면에서 매우 높은 성능을 보였다. 픽셀 단위 평가에서도 P-AUROC 0.9567, P-AUPRO 0.7903로 결함 위치 국소화 성능이 확인되었으며, P-F1은 0.4035으로 나타났다. 이러한 결과는 본 연구에서 적용한 Dinomaly 기반 이상탐지 시스템이 DC Fuse의 비정형 결함을 효과적으로 검출하고, Anomaly Map을 통해 결함 위치를 시각적으로 제시하는 데 유효함을 보여준다.
5. 결론
본 연구에서는 금속 Element DC Fuse의 비정형 결함을 효과적으로 검출하기 위해, 정상 이미지 기반 비지도 학습이 가능한 재구성 기반 Transformer 모델인 Dinomaly를 DC Fuse 데이터에 적용한 이미지 이상탐지 시스템을 제안하였다. 제안 시스템은 입력 이미지에 대해 Anomaly Map을 산출하여 결함의 위치와 형태를 시각적으로 제시하고, Anomaly Score 기반으로 정상/비정상을 판별할 수 있도록 구성하였다. 또한 실제 제조 환경에서 발생 가능한 조명 변화, 명도 편차, 반사 및 촬영 각도 변화 등 환경 변동성을 반영하기 위해 직접 촬영한 초기 수집 이미지 80장을 기반으로 정상 데이터 400장을 구축하였으며, 결함 데이터 167장과 이에 대한 GT 167장을 구축하여 이미지 단위 판별 성능과 픽셀 단위 국소화 성능을 함께 평가하였다.
실험에서는 촬영 환경 요인(조명 변화, 반사, 빛 번짐 등)이 Anomaly Map에서 이상 영역 검출로 나타날 수 있음을 고려하여 Anomaly Map 임곗값을 조정하였다. 임곗값에 대한 비교 결과, 픽셀 단위 F1 성능과 시각화 결과를 종합적으로 고려할 때 임곗값 = 0.115에서 결함 영역이 상대적으로 강조되며 촬영 환경 요인이 이상으로 검출되는 현상이 완화되는 경향을 확인하였고, 이에 따라 최종 임곗값을 0.115로 설정하였다. 최종 평가 결과, 이미지 단위 지표(I-AUROC, I-AP, I-F1)는 모두 1.0000으로 나타나 정상/비정상 판별 성능이 매우 우수함을 확인하였다. 또한 픽셀 단위 지표에서도 P-AUROC 0.9567, P-AUPRO 0.7903, P-F1 0.4035을 기록하여 비정형 결함에 대한 안정적인 국소화 성능을 확인하였다.
본 연구의 결과는 Dinomaly 기반 이상탐지 시스템이 금속 Element DC Fuse 외관 검사 공정에서 비정형 결함을 효과적으로 검출하고, Anomaly Map을 통해 결함의 위치와 형태를 직관적으로 확인할 수 있음을 보여준다. 이를 통해 DC Fuse 품질 관리 공정의 자동화 가능성을 제시하고, 전장부품 신뢰성 향상 및 스마트 제조 환경에서의 품질 관리 고도화에 기여할 수 있을 것으로 기대된다.
향후 연구에서는 다양한 결함 유형 및 촬영 조건을 포함한 데이터 추가 수집을 통하여 픽셀 단위 국소화 성능을 개선하고, 공정 요구사항에 따라 임곗값 설정 전략을 체계화하며, 조명/반사 영향이 큰 환경에서의 오검출을 줄이기 위한 후처리 및 강인성 향상 기법을 추가적으로 검토할 예정이다.
FOOTNOTES
-
ACKNOWLEDGEMENT
본 연구는 산업통상자원부와 한국산업단지공단의 “산업집적지 경쟁력 강화 사업”(No. GBCD2504) 및 2025년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(RS-2025-25437570).
Fig. 1
Fig. 2The framework of dinomaly [
12] (Adapted from Ref.
12 on the basis of OA)
Fig. 3Power module and vision controller (KEYENCE VJ-3000)
Fig. 4Camera and lens setup for DC fuse image acquisition (KEYENCE VJ-H500MX)
Fig. 5
Fig. 6
Fig. 7
Fig. 8
Fig. 9Anomaly map results (Threshold = 0.115)
Table 1
Table 1
|
Name |
Value |
|
Image size |
392 × 392 |
|
Iterations |
2,000 |
|
Batch size |
16 |
|
Optimizer |
StableAdamW |
|
Learning rate |
2 × 10−3
|
|
Anomaly map threshold |
0.115 |
Table 2Pixel-level performance by threshold (mean ± std over three runs)
Table 2
|
Threshold |
P-AUROC |
P-F1 |
P-AUPRO |
|
x |
0.6914 ± 0.0088 |
0.3683 ± 0.0060 |
0.1590 ± 0.0099 |
|
0.100 |
0.7942 ± 0.0075 |
0.4004 ± 0.0019 |
0.2890 ± 0.0113 |
|
0.105 |
0.8579 ± 0.0065 |
0.4018 ± 0.0011 |
0.3976 ± 0.0111 |
|
0.110 |
0.8848 ± 0.0049 |
0.4012 ± 0.0016 |
0.4559 ± 0.0098 |
|
0.115
|
0.9567 ± 0.0005
|
0.4035 ± 0.0014
|
0.7903 ± 0.0043
|
|
0.120 |
0.9206 ± 0.0030 |
0.4032 ± 0.0014 |
0.5622 ± 0.0094 |
Table 3Final performance evaluation results (Threshold = 0.115)
Table 3
|
Name |
Value |
|
I-AUROC |
1.0000 |
|
I-AP |
1.0000 |
|
I-F1 |
1.0000 |
|
P-AUROC |
0.9567 |
|
P-F1 |
0.4035 |
|
P-AUPRO |
0.7903 |
REFERENCES
- 1. Kaynak, H., (2003), The relationship between total quality management practices and their effects on firm performance, Journal of Operations Management, 21(4), 405-435.
- 2. Neogi, N., Mohanta, D. K., Dutta, P. K., (2014), Review of vision-based steel surface inspection systems, EURASIP Journal on Image and Video Processing, (2014), (1), 50.
- 3. Gong, Z. W., Song, J., Zhang, P., (2025), Automotive fuse & relay box plug-in modules assembly correctness detection system based on machine vision, Engineering Applications of Artificial Intelligence, 159, 111691.
- 4. Ma, Y., Yin, J., Huang, F., Li, Q., (2024), Surface defect inspection of industrial products with object detection deep networks: a systematic review, Artificial Intelligence Review, 57, 333.
- 5. Pernkopf, F., O’Leary, P., (2003), Image acquisition techniques for automatic visual inspection of metallic surfaces, NDT & E International, 36(8), 609-617.
- 6. Peng, T., Zheng, Y., Zhao, L., Zheng, E., (2024), Industrial product surface anomaly detection with realistic synthetic anomalies based on defect map prediction, Sensors, 24(1), 264.
- 7. Fang, X., Luo, Q., Zhou, B., Li, C., Tian, L., (2020), Research progress of automated visual surface defect detection for industrial metal planar materials, Sensors, 20(18), 5136.
- 8. Bergmann, P., Fauser, M., Sattlegger, D., Steger, C., (2019), MVTec AD--A comprehensive real-world dataset for unsupervised anomaly detection, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 9592-9600.
- 9. Pang, G., Shen, C., Cao, L., Hengel, A. V. D., (2021), Deep learning for anomaly detection: A review, ACM Computing Surveys (CSUR), 54(2), 1-38.
- 10. Zavrtanik, V., Kristan, M., Skočaj, D., (2021), Draem-a discriminatively trained reconstruction embedding for surface anomaly detection, Proceedings of the IEEE/CVF international Conference on Computer Vision. 8330-8339.
- 11. Mishra, P., Verk, R., Fornasier, D., Piciarelli, C., Foresti, G. L., (2021), VT-ADL: A vision transformer network for image anomaly detection and localization, Proceedings of the IEEE 30th International Symposium on Industrial Electronics, 01-06.
- 12. Guo, J., Lu, S., Zhang, W., Chen, F., Li, H., Liao, H., (2025), Dinomaly: The less is more philosophy in multi-class unsupervised anomaly detection, Proceedings of the Computer Vision and Pattern Recognition Conference. 20405-20415.
- 13. Ribeiro, A. G., Vilaça, L., Costa, C., Soares da Costa, T., Carvalho, P. M., (2025), Automatic Visual inspection for industrial application, Journal of Imaging, 11(10), 350.
- 14. Ruff, L., Vandermeulen, R., Goernitz, N., Deecke, L., Siddiqui, S. A., Binder, A., Müller, E., Kloft, M., (2018), Deep one-class classification, Proceedings of the International Conference on Machine Learning. 4393-4402.
- 15. Hinton, G. E., Salakhutdinov, R. R., (2006), Reducing the dimensionality of data with neural networks, Science, 313(5786), 504-507.
- 16. Kingma, D. P., Welling, M., (2013), Auto-encoding variational bayes, arXiv preprintarXiv:1312.6114.
- 17. Schlegl, T., Seeböck, P., Waldstein, S. M., Langs, G., Schmidt-Erfurth, U., (2019), f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks, Medical Image Analysis, 54, 30-44.
- 18. Ronneberger, O., Fischer, P., Brox, T., (2015), U-net: Convolutional networks for biomedical image segmentation, Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention. 234-241.
- 19. Gong, D., Liu, L., Le, V., Saha, B., Mansour, M. R., Venkatesh, S., Hengel, A. v. d, (2019), Memorizing normality to detect anomaly: Memory-augmented deep autoencoder for unsupervised anomaly detection, Proceedings of the IEEE/CVF International Conference on Computer Vision. 1705-1714.
- 20. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I.. 2017;Attention is all you need. Advances in Neural Information Processing Systems. 30.
Biography
- Se-Hun Lee
M.S. Student in the Department of Electronic Engineering, Korea National University of Transportation. His research interests include artificial intelligence and deep learning.
- Hee-Jae Kwon
B.S. Student in the Department of Electronic Engineering, Korea National University of Transportation. His research interests include artificial intelligence and deep learning.
- Se-Yeon Jung
B.S. Student in the Department of Electronic Engineering, Korea National University of Transportation. His research interests include artificial intelligence and deep learning.
- Seung-Woo Ra
Professor in the Secondary Battery Creative department and Director of industry academia cooperation support center, Korea National University of Transportation. His research interests are composite material design, vision inspection and smart factory.
- Joon Hwang
Professor in the School of Aerospace and Mobility, Korea Nat’l Univ. of Transportation. Director of National Key Technology Institute in University. Director of AI Advanced Manufactu-ring Research Center. His research focuses on AI based system design.
- Kang-Moon Park
Associate Professor in the Department of Electronic Engineering, Korea National University of Transportation. His research interests include artificial intelligence, deep learning, AutoML, and autonomous driving systems.
