Post-mortem nášho výpadku z 9. januára 2023

9. januára 2023 zaznamenala spoločnosť Gentlent výpadok, ktorý spôsobil narušenie našich služieb.

Časová os

Výpadok bol prvýkrát zistený o 17:30 stredoeurópskeho času (CET), keď sme dostali správy o neúspešných HTTP požiadavkách od našich tímov aj externých poskytovateľov doby prevádzkyschopnosti. Po ďalšom vyšetrení sme zistili, že problém bol spôsobený nesúladom konsenzu medzi našimi hlavnými databázovými servermi, čo viedlo k pádu miestnych inštancií našej kódovej základne.

O 17:41 sme zistili, že výpadok nastáva na úrovni dátového centra a vyhlásili sme núdzový incident. Náš tím pracoval na obnovení služieb, vrátane manuálnej rekonfigurácie ovplyvnených serverov a prepisovania potrebných kódových riadkov.

O 17:52 sme dostali oznámenie od nášho poskytovateľa dátového centra, že v oblasti Seattlu dochádza k rozsiahlemu výpadku elektrickej energie. Napriek tomu sme pokračovali v práci na obnovení služieb.

Screenshot zo stránky Seattle.gov zobrazujúci výpadok elektrickej energie.

O 18:07 sme začali ukončovať prvú opravu, ale o 18:16 sme narazili na ďalší problém spôsobený výpadkom. Krátko nato bola nasadená druhá oprava. Na to, aby sme spoločnosť Gentlent rýchlejšie obnovili, sme dočasne odstránili niektoré menej kritické servery z siete.

Gentlent bol čiastočne obnovený o 18:19, ale niektoré časti infraštruktúry stále zlyhávali v určitých regiónoch. Náš tím pokračoval vo vyšetrovaní základných problémov a pracoval na prekrytí a obnovení služieb.

O 18:22 sme začali globálne nasádzať druhú opravu. Oprava začala mať účinok o 18:31. O 18:43 boli služby presmerované do určitých kľúčových regiónov, boli nasadené opravy a väčšina infraštruktúry bola opäť online. Tiež sme pracovali na správe o incidente a dlhodobých opravách pre prekrytí.

Nakoniec, o 19:12, sme dostali správy, že dodávka elektrickej energie bola obnovená. Začali sme opätovne povoliť určité regióny a služby bez problémov a v tom čase bola obnovená celá infraštruktúra.

Akčné položky

V dôsledku tohto incidentu prijmeme niekoľko akčných opatrení na zlepšenie dostupnosti našich služieb v budúcnosti. Tieto opatrenia zahŕňajú presun našej staršej stránky stavovej správy na poskytovateľa tretích strán, poskytovanie núdzových oznámení zákazníkom a zlepšenie našej infraštruktúry tak, aby bola zabezpečená dostupnosť aj v prípade výpadkov kľúčových komponentov. Tiež budeme vykonávať testy a simulácie, aby sme zaistili nepretržitú dostupnosť našich služieb počas výpadkov.

Ospravedlňujeme sa našim zákazníkom za nepríjemnosti spôsobené počas tohto výpadku. Chápeme, že výpadky môžu byť frustrujúce a rušivé, a sme odhodlaní zlepšiť spoľahlivosť a dostupnosť našich služieb. Prijmeme potrebné opatrenia, aby sa výpadky v budúcnosti nevyskytovali, a aby boli naše systémy schopné rýchlo sa zotaviť, ak k incidentu dôjde. Ceníme si našich zákazníkov a vážime si ich trpezlivosť a pochopenie počas tohto obdobia.

Navštívte našu novú stránku stavu