Hur databasunderhåll stängde Toyotas produktionslinjer i två dagar

Det var tänkt att vara en rutinmässig underhållskontroll – men istället ledde det till att 14 bilfabriker stängdes två dagar i sträck.

Toyotas fabriker stängdes ner den 28 augusti och minskade sin globala produktion med en tredjedel, i ett företag som är känt för sin produktiva tillverkning med snäva tidsfrister.

Orsaken? Underhållet av en databas gick fel, vilket ledde till att databasen överskred det tillgängliga diskutrymmet – både på den primära servern och på säkerhetskopian.

När databasen var ur funktion kunde Toyota inte längre göra de automatiska förfrågningar om leveranser som behövdes för att tillverka 13 500 bilar per dag. Och under två dagar stod 25 produktionslinjer i de 14 fabrikerna tomma, eftersom “felet” innebar att nya bildelar inte kunde beställas från leverantörerna.

Det kanske inte hade varit något problem – tills man kombinerar det med företagets berömda “Just In Time”-strategi, en noggrann balansakt där du bara får de varor eller råmaterial du behöver precis innan du behöver dem.

En berättelse om “Just In Time”

Just In Time (JIT) kan vara en utmärkt allierad för rätt företag – det maximerar lageromsättningen, vilket i sin tur har många positiva effekter på intäkter och kostnader.

Med en exakt och kirurgliknande hantering kan behovet av lagerutrymme och tillhörande kostnader, t.ex. för personal och el, utgöra en bråkdel av den dagliga eller veckovisa produktionen. Men om balansen går åt fel håll kan du antingen få för många råvaror och ingenstans att lagra dem eller inga råvaror och maskiner och personal som står stilla.

Det senare verkar ha varit fallet hos Toyota, där Reuters beräknar att en tredjedel av deras globala produktion stod stilla. Nyhetsbyrån menar också att det på grund av JIT-strukturen kommer att bli en utmaning att komma ikapp tvådagarsbristen.

En extremt effektiv produktionslinje som arbetar nära maximal kapacitet varje dag lämnar inte mycket utrymme för att öka produktiviteten, vilket innebär att Toyota kan komma att behöva ta igen försenade leveranser till kunderna under en längre tid.

Seiji Sugiura, en analytiker vid Tokai Tokyo Research Institute, berättade för US News: “Produktionen kördes med full kapacitet, så det finns lite extra utrymme för produktion.”

Otillräckligt diskutrymme

Så vad hände på underhållssidan?

Toyota sade: “Systemfelet orsakades av otillgängligheten hos vissa multipla servrar som behandlar reservdelsorder.

“När det gäller omständigheterna utfördes regelbundet underhållsarbete den 27 augusti, dagen innan felet inträffade. Under underhållsproceduren raderades och organiserades data som hade ackumulerats i databasen, och ett fel uppstod på grund av otillräckligt diskutrymme, vilket fick systemet att stanna.

“Eftersom dessa servrar kördes på samma system uppstod ett liknande fel i backup-funktionen och en omkoppling kunde inte göras. Detta ledde till att den inhemska anläggningsdriften avbröts.

“Systemet återställdes efter att data överförts till en server med större kapacitet den 29 augusti, och anläggningarna återupptog driften dagen därpå.

“Vi vill meddela att vi har identifierat ovanstående som den verkliga orsaken. Motåtgärder har också vidtagits genom att replikera och verifiera situationen.

“Vi vill också bekräfta att systemfelet inte orsakades av en cyberattack, och ber alla parter om ursäkt för den oro som detta kan ha orsakat.”

Slutsats

Det är en varnande berättelse om regelbundet underhåll som går fel: hur en liten del av systemet, i det här fallet rutinunderhåll av en databas, sänkte hela produktiviteten för tusentals anställda och 14 fabriker, med en fjärilseffekt av störningar för leverantörer, kunder och till och med en tillfällig börsuppgång.

När världen nu börjar dra nytta av fördelarna med automatisering och artificiell intelligens (AI) är det en påminnelse om att ju fler sammanlänkade delar, desto värre kan en dominoeffekt bli.

Systemet fungerar dock bra för dem 99 % av tiden, så motargumentet är en hyllning till effektivitet under goda tider.

Och även om ett företag bara kan vara så starkt som dess svagaste komponent, är åtminstone detta hål i ramverket lagat.

Toyota tillade:

“Framöver kommer vi att se över våra underhållsprocedurer och stärka våra insatser för att förhindra upprepning så att vi kan leverera så många fordon som möjligt till våra kunder så snart som möjligt.”