📘 최종프로젝트
설비 예지보전 AI 모델 고도화를 위한 기술적 사투와 한계 분석
: "데이터의 침묵 속에서 마지막까지 시도한 모델 성능 한계 돌파의 기록"
1. 성능 확보를 위한 '처절한' 여정
본 프로젝트는 사출 공정 데이터의 불량 예측 모델(F1-Score 0.85 이상) 확보를 목표로, 가용한 모든 데이터 사이언스 기법을 투입하여 사투를 벌였다. 특히 단순 모델 학습을 넘어, 데이터 자체가 가진 근본적인 노이즈를 걷어내고 '진실'을 찾기 위한 기술적 발버둥에 집중했다.
2. 주요 시도 및 사투의 흔적 (전략적 접근)
① 데이터 정화 작업 (라벨 노이즈 제거)
단순 학습으로는 성능이 나오지 않는 절망적인 상황에서, '데이터가 오염되었을 것'이라는 가설 하에 확률적 필터링기법을 도입했다.
- 로직: 앙상블 모델(XGBoost, RF)의 예측 확률과 실제 라벨이 충돌하는 '모순 데이터'를 전수 조사하여 제거.
- 결과: G03 장비에서 1.5만 건, D01 장비에서 6천 건의 노이즈를 걷어내며 모델의 '눈'을 맑게 함.
② 모델 아키텍처의 한계 돌파 (Ensemble & Tuning)
단일 모델의 한계를 극복하기 위해 XGBoost와 RandomForest를 결합한 Voting Classifier를 구축하고, 불균형 데이터 해소를 위해 scale_pos_weight 등 모든 가중치 파라미터를 최적화했다.
③ 현장 중심의 파생 변수 생성
사출 시간 대비 압력 비율, 금형 온도 편차 합계 등 실무적 통찰이 담긴 피처 엔지니어링을 통해 데이터에 숨겨진 물리적 의미를 부여하고자 했다.
3. 결과: "G03의 성공"과 "나머지의 침묵"
전 설비를 대상으로 한 마지막 성능 테스트 결과는 아래와 같다.
| 등급 | 대상 설비 | 불량 F1-Score | 양품 재현율 | 평가 및 분석 |
| S | G03 | 0.85 | 0.99 | [유일한 성공] 데이터 정제 후 목표치 도달. 실전 투입 가능. |
| A | D01, G10 | 0.5~0.6 | 0.8~0.9 | [절반의 성공] 오보는 적으나 불량 검출력이 다소 미흡. |
| C | G01, G06 등 | 0.4 이하 | 0.1~0.4 | [물리적 한계] 모든 기법 투입에도 성능 요지부동. |
4. 결론 및 제언: "모델의 실패가 아닌, 데이터 인프라의 메시지"
모든 기술적 역량을 쏟아부었음에도 불구하고 대다수 설비에서 F1-Score 0.85의 벽을 넘지 못한 것은 모델의 알고리즘 문제가 아닌 데이터 자체의 한계로 판단된다.
- G03의 사례가 주는 교훈: G03이 0.85를 달성했다는 것은 우리의 분류 로직이 유효함을 입증한다. 동일 로직이 다른 장비에서 통하지 않는 것은 해당 장비들의 기록 체계나 센서 수집 항목에 근본적인 차이가 있음을 시사한다.
- 데이터의 선명도 부족: 현재 수집되는 변수(온도, 압력 등)만으로는 양품과 불량의 물리적 경계가 겹쳐져 있다. 이는 아무리 뛰어난 AI라도 물리적으로 구분할 수 없는 '신의 영역'에 가깝다.
- 향후 전략 - "데이터 질적 개선으로의 회군": 단순히 모델을 고도화하는 '발버둥'은 여기까지입니다. 이제는 성능이 낮은 장비들을 대상으로 사출 속도, 수지 온도, 금형 내부 압력 등 불량을 더 세밀하게 설명할 수 있는 신규 센서 도입과 라벨링 체계의 전면 재검토가 병행되어야 한다.