토요타, 데이터 유지보수 관리 실패로 이틀 동안 공장 가동 중단

핵심 내용

이 사례는 일상적인 데이터베이스 유지 관리가 잘못되었을 때 어떤 결과를 초래할 수 있는지를 보여준다. 시스템의 작은 부분임에도 불구하고 수천 명의 작업자와 생산성에 지장을 초래하고 14개 토요타 공장 전체가 이틀 동안 가동을 중단하는 등 그 영향은 상당했다.

정기적인 유지보수 점검으로 인해 토요타 자동차 제조 공장 14곳이 이틀 연속 가동을 중단하면서 차량 공급에 큰 차질이 생겼다. 

8월 28일에 발생한 이 사고로 인해 효율적인 제조 공정과 촉박한 마감 기한으로 유명한 토요타 글로벌 생산량이 3분의 1가량 크게 감소했다.

가동 중단의 근본 원인은 데이터베이스 유지 관리 작업 중 생긴 오류로 밝혀졌다. 데이터베이스가 기본 서버와 백업 서버 모두에서 사용 가능한 디스크 공간을 초과하여 작동을 멈췄으며, 그 결과 토요타는 일일 목표인 13,500대의 자동차 생산에 필요한 부품 공급 자동 요청을 더 이상 수행할 수 없었다. 이로 인해 14개 공장의 25개 생산 라인 가동이 전면 중단되었고, 이 ‘결함’으로 인해 부품이 없는 생산 라인은 텅 비어버렸다.

이러한 상황은 상품과 원자재를 필요할 때 정확하게 공급받는 것에 의존하는 토요타의 ‘적시 공급’ 방식 때문에 더욱 악화되었다. 데이터베이스 장애와 회사의 린 재고 전략의 결합은 생산 운영에 상당한 차질을 발생시켰다.

“적시”에 대한 이야기

적시 공급(Just In Time, JIT)은 재고 회전율을 최적화하여 매출과 비용 측면에서 다양한 이점을 제공하기 때문에 기업에게 매우 유용한 전략이 될 수 있다.

정밀하고 전문적으로 실행하면 창고 공간의 필요성과 인건비 및 전기료와 같은 관련 비용을 크게 줄이는 것이 가능하다. 그러나 섬세한 균형이 깨지면 원재료가 넘쳐나지만 보관할 곳이 없거나 원재료가 부족해 기계와 인력이 유휴 상태가 될 수 있다.

로이터 통신은 토요타의 경우 후자의 시나리오가 발생하여 전 세계 생산량의 약 3분의 1이 중단된 것으로 추정했다. 또한 적시 공급 시스템으로 인해 이틀간의 생산 부족분을 만회하기는 어려울 것이라고 예상했다.

고효율 생산 라인이 매일 최대 용량에 가깝게 가동되고 있기 때문에 생산성을 높일 수 있는 여지가 제한적이다. 따라서 토요타의 고객 인도 지연은 장기화될 가능성이 크다.

토카이 도쿄 연구소(Tokai Tokyo Research Institute)의 애널리스트인 스기우라 세이지(Seiji Sugiura)는 US 뉴스와의 인터뷰에서 “이미 생산량이 최대로 가동되고 있었기 때문에 추가 생산 여지가 거의 없다.”라고 언급했다.

디스크 공간 부족

토요타는 “유지 보수 관련 시스템 오작동은 부품 주문 처리를 담당하는 여러 서버를 사용할 수 없었기 때문”이라고 밝혔다.

이 사고는 오작동 전날인 8월 27일에 실시된 정기 유지보수 작업 이후에 발생했다. 유지보수 과정에서 데이터베이스는 공간을 확보하기 위해 데이터 삭제 및 정리 작업을 거쳤으나, 디스크 공간 부족으로 인해 오류가 발생하여 시스템이 중단되었다.

영향을 받은 서버가 동일한 시스템의 일부였기 때문에 백업 기능에도 비슷한 장애가 발생하여 전환이 불가능했다. 결과적으로 국내 공장 운영을 중단해야만 했다.

8월 29일에 더 큰 용량의 서버로 데이터를 이전하여 시스템을 복구할 수 있게 되면서 문제가 해결되었고, 다음 날부터 공장 가동이 재개되었다.

“앞서 말씀드린 문제를 실제 원인으로 확인했음을 알려드립니다. 해당 상황을 재현하고 검증하는 등 대책을 마련했습니다.”

“시스템 오작동은 사이버 공격으로 인한 것이 아님을 다시 한번 말씀드리며, 이로 인해 심려를 끼쳐드린 모든 당사자들께 사과의 말씀을 드립니다.”

결론

이 사건은 시스템의 작은 부분처럼 보일 수 있는 데이터베이스에 대한 일상적인 유지 관리가 얼마나 큰 결과를 초래할 수 있는지에 대한 경각심을 일깨워 주는 사례이다. 수천 명의 직원과 14개 공장의 생산성이 완전히 중단되는 등 그 여파는 상당했다. 그 영향은 토요타 생산 라인을 넘어 공급업체와 고객에게 영향을 미치고, 주식 시장에까지 일시적인 혼란을 야기했다.

전 세계가 자동화와 인공지능(AI)을 수용하고 있는 가운데, 이는 상호 연결된 부분이 많을 수록 잠재적인 도미노 효과를 상기시키는 역할을 한다.

하지만 이번 사건은 예외일 뿐, 토요타의 시스템은 99%의 경우 효율적으로 잘 운영되고 있다는 점에 주목할 필요가 있다.

기업의 전반적인 강점은 가장 취약한 부분에 의해 제한될 수 있지만, 적어도 최근의 시스템 수정으로 인해 이러한 구조적 약점은 개선되었을 것이다.

토요타는 다음과 같이 덧붙였다:

“앞으로는 유지보수 절차를 재검토하고 재발 방지를 위한 노력을 다할 것입니다. 이를 통해 고객에게 최대한 많은 차량을 신속하게 인도하는 것을 목표로 하고 있습니다.”

Eddie Wrenn

본 작가는 영국과 호주의 국내외 뉴스룸에서 뉴스 속보와 과학 및 기술 보도에 중점을 두고 일해 온 리포터 겸 뉴스 에디터입니다. 현재 영국 런던에 거주하고 있습니다.