2010년대 후반에 저는 세계 최고의 가전제품 제조사 중 한 곳에서 Six Sigma 마스터 블랙 벨트로 일하며 품질 개선 프로젝트를 지휘했습니다. 우리는 문제를 해결하기 위해 새로운 Six Sigma 블랙 벨트를 교육하고 코칭하여 매년 약 3천만 달러를 절감하며 큰 성공을 거두었습니다. 그 당시에는 예측 분석 도구를 사용하기를 꺼렸던 것으로 분명히 기억합니다. 우리는 무엇을 놓치고 있는지도 몰랐습니다!
당시 블랙 벨트는 데이터 기반의 계획된 실험을 통해 문제에 접근하라고 배웠습니다. 예를 들어 우리가 제조한 세탁기 중 하나에서 새로운 결함에 대한 서비스 요청서가 급증하기 시작하자 우리는 문제를 정확히 파악하고, 문제에 대한 변동을 이해하고, 실험 계획법(DOE)을 사용하여 우리의 이론에 대한 원인 및 결과와 예측된 해결책을 파악할 수 있는지 확인했습니다. 새로운 제조 시대(Industry 4.0이라고도 불림)에는 더 많은 데이터가 제공되었고 경영진은 그 어느 때보다 빠른 답변을 기대하기 시작했습니다.
우리의 문제 해결사 커뮤니티에는 문제의 우선순위를 정하는 확립된 방법이 있었습니다. 우리는 주로 어떤 문제가 가장 자주 발생하는지 파악하기 위해 SIR(Service Incident Rate) 보고서를 기다립니다. 유감스럽게도, SIR은 후행 지표라서 고객의 가정에서 문제가 발생한 시점보다 6개월 뒤처지는 경우가 많았습니다. 우리의 딜레마는 분명했습니다. 문제 해결 속도를 더 높여야 했습니다.
문제를 표면화하는 데 필요한 시간 외에도 우리는 작은 데이터를 빅 데이터로 변환하는 데 다소 어려움이 있었습니다. 블랙 벨트는 방대한 양의 데이터를 요인 실험 설계(DOE)가 가능한 수준까지 줄이곤 했는데, 이는 당시로서는 일반적인 방식이었습니다! 마스터 벨트로부터 그렇게 하도록 배웠기 때문입니다.
마지막으로, 제조 분야의 수석 엔지니어, 마스터 블랙 벨트 등과 같은 기술 리더는 새로 만들어진 '빅 데이터'라는 개념을 위한 도구를 도입하기 시작했습니다. 이들은 빅 데이터를 사용하여 현장 고장을 공장 데이터와 연결하여 보증 비용 등과 같은 요인을 예측 및 완화하고 품질을 개선할 수 있기를 바랐습니다. 우리에게 이러한 개념은 새로웠습니다. 우리는 이러한 데이터를 수년 또는 수십 년 동안 보유하고 있었지만, 그것을 모두 합치지 못했기 때문입니다.
서비스 사고의 처리를 담당하는 서비스 기술자들은 고객의 가정에서 일부 테스트 데이터와 고장난 기기의 일련번호를 수집했지만, 개발 데이터나 제조 데이터 모두 현장 서비스 데이터와 명시적으로 연결되지 않았습니다.
이러한 문제에는 서로 다른 데이터 저장 방식도 포함되었습니다. 사람들은 이러한 방대한 데이터 소스를 처리하는 방법을 몰랐고, 이를 결합하는 방법을 배울 만한 예산이 없었습니다. 이러한 데이터를 결합하더라도 그로부터 통찰력을 얻을 수 있는 방법이 없었습니다.
마침내 우리는 수백만 달러를 투자하여 컨설턴트의 도움을 받아 방대한 데이터 소스를 수집하고 분석을 준비했습니다. 이러한 '데이터 레이크 구축' 작업은 간단하지 않습니다. 데이터 레이크는 빅 데이터 분야에서 사용되는 용어로, 여기서는 단순히 방대한 데이터 소스를 한데 통합하는 방식을 설명하기 위해 언급되었습니다. 이제 일련 번호로 현장 오류를 동일한 일련 번호로 제조 데이터와 연결할 수 있는 대규모 데이터 집합이 생겼습니다. 또한 고장이 발생한 기기의 공통점에 대한 통찰력을 얻을 수 있습니다.
이 블로그를 읽고 통찰력을 얻는 것은 생각보다 더 어렵습니다. 제조 과정에서 수집된 테스트 지표는 매우 많고, 그러한 모든 예측 변수 사이에는 변동이 거의 없고 많은 다중 공선성이 존재합니다. "y=밸브 고장, x=수백 개의 예측 변수"를 사용할 경우 데이터가 너무 난잡해져서 회귀 분석으로 별다른 정보를 찾지 못합니다. 결정계수(R^2)가 지나치게 낮습니다. 이러한 과거 모델링 기술에 대한 우리의 확신은 낮았습니다.
마침내 우리의 컨설턴트는 예측 분석을 시작하자고 제안했습니다. 예측 분석을 이용하면 난잡한 데이터를 훨씬 더 효과적으로 처리할 수 있습니다! 우리는 파일럿플랜트(Pilot plant) 에서 몇 가지 신호를 발견하고 여러 가지 사항을 개선하며 이러한 방식을 테스트했습니다. 이제 데이터를 집계하고 준비하여 이러한 통찰력을 찾는 방법을 확보했습니다.
하지만 우리의 부사장은 이러한 데이터 웨어하우징 및 컨설팅 투자에서 큰 수익을 거두는 데 전념했습니다. 그 당시, 우리에게는 새로운 컨설턴트가 있었고 많은 통찰력을 얻도록 도와주었지만, 그들은 엔지니어가 아니었기 때문에 예측 분석 결과를 잘 이해하지 못했습니다. 심지어 가전제품이 어떻게 동작하는지도 몰랐습니다. 데이터 과학자들이 아는 것은 여러 테스트 지표가 실패를 예측한다는 것이 전부였습니다.
결국에는 이 값비싼 프로세스를 시작한지 불과 몇 년 만에 우리 회사는 컨설턴트로부터 분석을 인계받을 만큼 충분히 배웠다고 판단했습니다. 특히 품질 부사장의 '비밀 연구' 팀과 수석 마스터 블랙 벨트, 그리고 파일럿플랜트(Pilot plant) 의 여러 엔지니어들은 컨설턴트의 결과를 따라할 만큼 충분한 역량을 갖추게 되었습니다.
이제 우리의 소규모 팀은 예측 분석에 매우 익숙해져 있습니다. 하지만 이러한 예측 분석 방법론을 전체 조직으로 확장하기는 매우 어려웠습니다. 문제는 예측 분석을 사용하기가 매우 어려워서 유용하다고 느끼는 소수의 사람들만 사용할 수 있었다는 것이었습니다. 조직의 나머지 사람들은 이러한 일이 진행되고 있는지도 몰랐습니다. 더 많은 사람들에게 알려주고 교육하려면 어떻게 해야 할까요? 수석 마스터 블랙 벨트는 문제를 해결하기 위한 리소스가 제공되면 통찰력을 수집하고 엔지니어링 팀을 코칭하기로 결정했습니다. 이는 효율이 매우 높은 일은 아니었습니다. 당시에는 전문성을 구축하고, 사내에 많은 예측 분석 전문가를 양성하기가 매우 어려웠습니다.
CART(Classification and Regression Trees), Random Forests, TreeNet 등과 같은 예측 분석 도구의 다양한 옵션과 결과물을 살펴보세요. 방대한 데이터 집합을 열고 '분석' 버튼을 누르는 것이 전부가 아닙니다. 여기에는 많은 기술이 필요합니다. 데이터 과학이 중요한 것도 이러한 이유에서입니다!
2010년대 후반과 2020년대 초반 우리는 예측 분석을 활용하는 소수의 제품을 도입했고, 다른 기업들은 과거 방식을 계속 고수했습니다. 예측 분석을 통해 보증 예측, 신속한 품질 개선, 결함 방지가 가능해졌습니다. 과거 방식을 사용하는 다른 기업들은 SIR(Service Incident Rate) 보고서를 받은 후 Six Sigma 도구를 사용하여 가장 자주 발생하는 문제를 해결하기 위해 여전히 6개월을 기다렸습니다.
오늘날의 예측 분석은 10년 전 처음으로 사용하기 시작했을 때보다 엄청나게 발전했습니다. 더 이상 예전처럼 복잡하고 전문적인 작업이 아닙니다. Minitab 예측 분석 및 Auto ML(자동화된 머신러닝)을 통해 일반 사람들이 예측 분석을 더욱 쉽게 이용할 수 있습니다. 데이터에서 최상의 모형을 제안하고, 간단한 사용자 인터페이스를 통해 대체 모형을 요청할 수 있습니다.
데이터를 집계하고 준비하는 데 사용하는 Minitab Connect와 통찰력을 발견하는 데 사용하는 Minitab 예측 분석 및 Auto ML을 결합하여 편리성을 높이고 성과를 개선하고 빠르게 달성하는 방법을 알아보세요. 이러한 방식으로 Minitab 제품을 제조에 사용하면 거의 실시간으로 품질 개선 및 보증 예측이 가능해집니다. 이러한 도구가 개발되기 이전에는 품질 개선에 반년 이상이 걸렸고, 보증 예측은 올해 데이터가 아닌 과거 연도의 데이터에 의존했습니다. 이는 우리의 고객과 이해관계자들에게 수백만 달러의 가치가 있습니다.