공정 제조가 더 자동화되고 디지털 방식으로 통합됨에 따라 공정 데이터의 양과 복잡함이 폭발적으로 증가했습니다. 센서는 수천 개의 변수를 실시간으로 기록합니다. 지표는 교대, 배치 및 기계 전반에서 추적됩니다. 기존 통계 방법은 나름의 가치는 있지만 때로는 이 데이터의 규모, 복잡성, 그리고 미묘한 차이를 처리하는 데에는 부족합니다.
머신러닝(ML)이 바로 이 단계에 있으며, Minitab의 예측 분석 이 이를 지원할 수 있습니다. 요약하자면, ML을 통해 제조업체는 패턴을 파악하고 결과를 예측하며 이전에는 불가능했던 방식으로 성과를 최적화할 수 있습니다. 기존의 회귀 분석과 달리 ML은 데이터 구조에 대한 엄격한 가정을 요구하지 않습니다. 다중 공선성, 시차 효과, 비선형 동작 등을 다루는 실제 사례에서 직접 학습합니다.
전통적인 모델링의 목표는 입력 변수(X)와 출력 변수(Y) 간의 수학적 관계를 정의하는 것입니다. 하지만 많은 공정에서 기본 함수가 너무 복잡하거나 알 수 없습니다. ML은 공식을 추측하지 않습니다. 데이터에서 직접 패턴을 학습하고, 새로운 X값이 주어졌을 때 Y를 예측하는 모델을 구축하기 위해 여러 사례를 활용합니다. 따라서 공정이 복잡하고 변수 상호작용을 정의하기 어려운 제조 환경에 이상적입니다. ML은 사람이 규칙을 미리 지정하지 않아도 학습합니다.
다음은 Minitab의 예측 분석 모듈로 효과적으로 극복할 수 있는 6 가지 대표적인 데이터 분석 함정입니다. ML을 활용하기 전에 블랙 벨트 및 마스터 블랙 벨트 수준의 모든 실무자가 다중 회귀 기법을 충분히 숙지하시기 바랍니다. 우리의 목표는 실무자가 실험계획법을 통해 수 많은 가능성이 있는 입력 변수를 더 중요한 몇 가지로 줄여서 심층적으로 탐구할 수 있도록 지원하는 것입니다. 이러한 과정은 Minitab에서 강력하게 지원합니다.
예측 분석이란? 자세히 알아보려면 시청하세요.
6가지 함정
함정 #1: 지저분한 데이터
과거 데이터는 극단값, 특이치 및 결측값으로 인해 오염될 수 있습니다. 이러한 문제로 인해 신뢰할 수 있는 회귀 방정식 계수를 추정하는 데 문제가 발생합니다.
- 극단값 – 단일 값 X i 는 나머지 데이터와 동떨어져 있을 수 있습니다. 이 경우 X i는 회귀 추정에 큰 영향을 미칠 수 있습니다.
- 특이치 – X i는 다른 X 값과 멀지 않을 수 있지만, 잔차가 전체 평균 = 0으로 정규 분포를 따른다고 가정할 때 모델의 잔차(실제 - 예측)가 크고 표준 편차보다 클 수 있습니다.
- 결측값 - 단계적 회귀 및 최적 부분 집합 회귀에서 선택한 예측 변수(X)의 행에 결측값이 있는 경우 전체 데이터 행이 제거됩니다.
함정 #2: 빅데이터
데이터의 크기는 행 수 및 열 수에 따라 달라집니다.
- 예측 변수의 수(p)가 관측치의 수(n)에 비해 크면 고전적 회귀 분석의 경우 매우 복잡하거나 계산이 불가능해집니다.
- 고전적 회귀 분석에서 모형 오차를 추정하고 각 예측 변수에 대한 P값을 계산하려면 n이 p보다 커야 합니다. 만약 잔차 자유도가 없어 추정 모형 오차(s)를 추정할 수 없는 경우, r-제곱 값은 형식적으로 계산될 수 있으나 통계적 의미를 갖지 못합니다.
- r-제곱과 잔차가 없으면 회귀 방정식이 데이터를 잘 모델링하는지 알 수 없습니다.
함정 #3: 다중 공선성
입력 변수(Xs)가 서로 상관(종속관계)되는 경우. 두 예측 변수 간의 상관계수가 0.5보다 크면 문제가 있다는 것을 의미합니다.
- 전통적인 회귀 세션 창은 다중 공선성에 대한 정보를 제공합니다.
- 분산 팽창 요인(VIF, Variance Inflation Factor) - 예측 변수가 상관관계가 있는 경우 추정된 회귀 계수의 분산이 얼마나 증가하는지 측정합니다. VIF = 1 / (1 – r2). VIF > 5인 경우, 이는 모형에 심각한 문제가 될 수 있습니다.
- R-제곱 및 (수정된)R-제곱- 전통적인 회귀 모형에 상관관계가 있는 예측 변수를 추가하면 두 값이 서로 달라지게 됩니다. (수정된)R-제곱은 모델에 이미 포함된 다른 예측 변수와 상관 관계가 있는 예측 변수를 포함하지 않도록 페널티를 부여합니다.
함정 #4: 상호작용
한 예측 변수(X1)의 영향이 두 번째 독립 예측 변수(X2)의 설정에 따라 달라지는 경우입니다.
- 상호작용은 모형 조건(항)을 증가시킵니다. 수학적으로 상호작용의 수는 예측 변수의 수에 따라 기하급수적으로 증가합니다. 상호작용은 2차, 3차, 4차 등일 수 있습니다. 실제로 2차 상호작용은 자주 발생하지만 고차 상호작용은 드뭅니다.
- 글로벌(Global) 대 로컬(Local) 교호작용 - 전통적 회귀는 상호작용을 전역(Global)으로만 다루게 됩니다. 교호작용이 유의미한 것으로 밝혀지면 예측 변수 공간의 모든 차원에 걸쳐 동일하게 발생해야 합니다. 그러나 실제 산업현장에서는 업계에서는 국소적(Local) 상호작용이 발생할 수 있지만, 이는 고전적인 회귀 분석으로는 모델링하기가 어렵습니다.
함정 #5: 비선형성
고전적 회귀 분석은 설계상 '선형'입니다. 일반적인 선형 회귀 표현식은 Y = mx + b입니다. 이 기본 공식은 다른 유형의 선형 방정식으로 확장할 수 있습니다. 예를 들어 X2는 선형 함수입니다. 그러나 2X는 선형 함수가 아닙니다. 함수가 선형이 되려면 지수가 선형이어야 합니다.
비선형 함수는 단순 회귀 분석, 단계적 회귀 분석 또는 최적 부분집합 회귀로 모델링할 수 없습니다. 비선형성이 예상되는 경우 사용자는 기본 비선형 관계를 제공하거나 여러 대안 중에서 선택해야 합니다.
ML은 모든 X-Y 관계가 비선형이라고 가정합니다. 이러한 가정은 선형 함수도 ML 알고리즘을 사용하여 간단한 방식으로 모델링할 수 있다는 것을 의미합니다. 사용자는 ML을 진행하기 위해 적절한 비선형 함수에 대한 지식이 없어도 됩니다.
함정 #6: 시차 효과
연속 공정 제조 데이터 분석에서 분석가는 예상 반응(Y)에 맞춰 각 예측 변수(X)를 적시에 생성하거나 앞으로 이동해야 합니다. 고전적인 회귀 분석으로 시차 효과도 처리할 수 있지만 ML 모델은 종종 이러한 효과를 수용하는 데 더 효과적인 역할을 합니다.
예를 들어 화학 공정에는 반응 변수(Y)의 중요한 예측 변수(X)가 하나 있습니다. 공정의 공칭 체류 시간은 4시간입니다. 작업자가 X를 변경하면 반응 변수(Y)는 X가 변경된 후 4시간 후에 변경됩니다. 물론 이 간단한 예시는 몇 가지 큰 가정을 전제로 합니다. 실제로 플러그 흐름 공정이 완벽히 플러그 흐름 공정으로 작동하지 않아서 역혼합이 영향을 미치는 경우가 있습니다. 또한 X의 변화가 Y의 반응에 비해 시간이 지남에 따라 확산되는 효과가 있습니다. 이러한 상황에서는 예측 변수(X)의 여러 시간 이동을 평가해야 합니다.
함정에서부터 혁신에 이르기까지
기존 방법은 여전히 가치가 있지만, 이는 최신 공정 제조 데이터의 규모와 복잡성에 항상 맞게 구축되지는 않았습니다. Minitab의 예측 분석을 통한 머신 러닝은 비선형성, 시차 효과 및 복잡한 실제 변수를 자동으로 처리하여 이러한 문제를 극복하는 데 도움이 됩니다. 이 솔루션을 사용하면 데이터를 분석하는 것 이상의 작업을 수행하여 결과를 예측하고 고장을 방지하며 자신 있게 성능을 최적화할 수 있습니다.
