W zesz\u0142ym tygodniu DreamHost do\u015bwiadczy\u0142 rozleg\u0142ej awarii systemowej, kt\u00f3ra mia\u0142a wp\u0142yw na us\u0142ugi dla wielu naszych klient\u00f3w, kt\u00f3rych us\u0142ugi by\u0142y hostowane w naszym centrum danych \u201ePDX1\u201d. Wiele naszych system\u00f3w by\u0142o nieosi\u0105galnych, a mniej ni\u017c po\u0142owa stron naszych klient\u00f3w do\u015bwiadczy\u0142a okres\u00f3w przestoju.<\/p>\n
Us\u0142uga zosta\u0142a w du\u017cej mierze przywr\u00f3cona w ci\u0105gu 12 godzin, a teraz, gdy sytuacja si\u0119 ustabilizowa\u0142a, chcieliby\u015bmy dostarczy\u0107 Pa\u0144stwu informacje na temat tego, co si\u0119 wydarzy\u0142o, dlaczego to si\u0119 wydarzy\u0142o oraz jakie s\u0105 nasze plany, aby zapobiec temu w przysz\u0142o\u015bci.<\/p>\n
Podsumowuj\u0105c: W czwartkowy poranek, 2 listopada, jedno z centr\u00f3w danych, kt\u00f3re pomieszcza du\u017c\u0105 liczb\u0119 naszych serwer\u00f3w, straci\u0142o zasilanie, a jego zapasowe systemy zasilania przesta\u0142y dzia\u0142a\u0107.<\/p>\n
To nie powinno si\u0119 <\/em>zdarzy\u0107. Nasze centrum danych w Hillsboro, Oregon (\u201ePDX1\u201d) jest zarz\u0105dzane przez Flexential, lidera w budowie, zarz\u0105dzaniu i operacjach centr\u00f3w danych. Flexential odpowiada za dostarczanie energii do naszych serwer\u00f3w w tej plac\u00f3wce.<\/p>\n Za ich spraw\u0105, ich operacyjny plan radzenia sobie z problemami zasilania jest zgodny z najlepszymi praktykami w bran\u017cy, a ich redundantne systemy zasilania s\u0105 kluczowym elementem tego, co wed\u0142ug wszystkich relacji, jest obiektem o najnowocze\u015bniejszej infrastrukturze. Jednak\u017ce, jak pokaza\u0142y wydarzenia z ostatniego tygodnia, rzeczywisto\u015b\u0107 nieoczekiwanego zdarzenia zwi\u0105zanego z zasilaniem mo\u017ce mie\u0107 nieprzewidziane konsekwencje i efekt domina, kt\u00f3ry mo\u017ce rezonowa\u0107 w ca\u0142ym Internecie.<\/p>\n Standardowa i powszechna konfiguracja zapewniaj\u0105ca redundancj\u0119 zasilania w wi\u0119kszo\u015bci centr\u00f3w danych polega na budowie dw\u00f3ch w pe\u0142ni redundantnych system\u00f3w zasilaj\u0105cych. Ka\u017cdy system uzyskuje energi\u0119 od dostawcy poprzez unikaln\u0105, redundantn\u0105 \u015bcie\u017ck\u0119. Ka\u017cdy system zawiera r\u00f3wnie\u017c w\u0142asny bank UPS-\u00f3w (nieprzerwalne \u017ar\u00f3d\u0142a zasilania \u2013 znane r\u00f3wnie\u017c jako \u201ebaterie awaryjne\u201d) oraz flota generator\u00f3w diesla znajduje si\u0119 na miejscu, aby zasila\u0107 ca\u0142\u0105 plac\u00f3wk\u0119<\/em> w razie potrzeby.<\/p>\n Chocia\u017c pe\u0142ny raport od Flexential nadchodzi, to co zaobserwowali\u015bmy z naszej strony to cz\u0119\u015bciowa utrata zasilania, a nast\u0119pnie ca\u0142kowita utrata zasilania dla naszej floty serwer\u00f3w. Chcemy by\u0107 jasni – to powinien by\u0107 stan “niemo\u017cliwy” i mieli\u015bmy wszystkie zapewnienia, \u017ce tak jest, w tym 100% gwarancj\u0119 dost\u0119pno\u015bci zasilania w umowie dotycz\u0105cej poziomu us\u0142ug (SLA). Te systemy zasilania s\u0105 regularnie testowane i przechodz\u0105 regularne, zaplanowane konserwacje, aby zapewni\u0107 ich dzia\u0142anie zgodnie z zamierzeniem.<\/p>\n Podczas typowej awarii zasilania w centrum danych (zaplanowanej lub niezaplanowanej), baterie UPS w\u0142\u0105czaj\u0105 si\u0119 automatycznie wystarczaj\u0105co d\u0142ugo, aby obiekt m\u00f3g\u0142 uruchomi\u0107 swoje generatory nap\u0119dzane olejem nap\u0119dowym.<\/p>\n Nie jest jasne, dlaczego lub jak dosz\u0142o do awarii systemu UPS, awarii generator\u00f3w, lub jak obydwa te zautomatyzowane, nadmiarowe, niezale\u017cne systemy zasilania zdo\u0142a\u0142y tak spektakularnie zawie\u015b\u0107 jednocze\u015bnie. Wierzymy, \u017ce by\u0142o to po\u0142\u0105czenie awarii sieci energetycznej oraz awarii generatora i systemu UPS. Pe\u0142ne dochodzenie jest w toku i spodziewamy si\u0119 otrzyma\u0107 wyniki wkr\u00f3tce.<\/p>\n Niezale\u017cnie od przyczyny, naszym celem i priorytetem podczas tego zdarzenia by\u0142o przywr\u00f3cenie dzia\u0142ania naszych maszyn i przywr\u00f3cenie us\u0142ug dla naszych klient\u00f3w.<\/p>\n Zostali\u015bmy po raz pierwszy zaalarmowani o przerwie o godzinie 4:41 czasu lokalnego w czwartek, 2 listopada, za pomoc\u0105 naszych w\u0142asnych narz\u0119dzi monitoruj\u0105cych zewn\u0119trznych. Natychmiast wys\u0142ali\u015bmy cz\u0142onk\u00f3w naszego zespo\u0142u operacji w Centrum Danych do obiektu, aby rozpocz\u0105\u0107 proces przywracania us\u0142ug. Nied\u0142ugo potem opublikowali\u015bmy post statusu<\/a>, aby pom\u00f3c klientom \u015bledzi\u0107 wysi\u0142ki zwi\u0105zane z przywracaniem us\u0142ug.<\/p>\n Gdy zrozumieli\u015bmy pe\u0142ny zakres tej awarii, ca\u0142y nasz zesp\u00f3\u0142 wykonawczy zosta\u0142 wezwany i postawiony w stan gotowo\u015bci, podczas gdy ka\u017cdy specjalista z naszego zespo\u0142u Infrastruktury (zar\u00f3wno ci lokalni w centrum danych, jak i ci pracuj\u0105cy zdalnie) zosta\u0142 wezwany, aby przywr\u00f3ci\u0107 systemy do dzia\u0142ania.<\/p>\n W pewnym momencie podczas tej odpowiedzi, system kontroli dost\u0119pu<\/em> budynku r\u00f3wnie\u017c straci\u0142 zasilanie, co stanowi\u0142o pewne wyzwanie dla naszego zespo\u0142u, aby uzyska\u0107 dost\u0119p. Gdy pe\u0142ne zasilanie zosta\u0142o przywr\u00f3cone do naszej cz\u0119\u015bci centrum danych o 6:08, redundancja, kt\u00f3r\u0105 wbudowali\u015bmy w nasz\u0105 w\u0142asn\u0105 wewn\u0119trzn\u0105 infrastruktur\u0119 zasilania, dzia\u0142a\u0142a zgodnie z przeznaczeniem i oczekiwaniami.<\/p>\n Nieoczekiwane twarde restarty i utrata zasilania \u2013 na dowoln\u0105 skal\u0119 \u2013 mog\u0105 powodowa\u0107 zar\u00f3wno awarie sprz\u0119tu, jak i nieoczekiwane zachowania oprogramowania. Jak mo\u017cna si\u0119 by\u0142o spodziewa\u0107, obserwowali\u015bmy du\u017co tego drugiego.<\/p>\n Chocia\u017c pojedynczy komputer stacjonarny lub laptop mo\u017ce \u0142atwo poradzi\u0107 sobie z niespodziewan\u0105 utrat\u0105 zasilania, niestety nie jest to rzeczywisto\u015b\u0107 w kontek\u015bcie du\u017cego centrum danych. Z tysi\u0105cami serwer\u00f3w i dziesi\u0105tkami prze\u0142\u0105cznik\u00f3w zainstalowanych w tej lokalizacji, by\u0142o to staranne dzia\u0142anie (dobrze udokumentowane i wykonane), aby przywr\u00f3ci\u0107 systemy do pracy, przetestowa\u0107 ka\u017cdy z nich pod k\u0105tem anomalnego zachowania i ostatecznie podj\u0105\u0107 potrzebne dzia\u0142ania koryguj\u0105ce.<\/p>\n Chocia\u017c \u017cadne dane klient\u00f3w nigdy nie by\u0142y zagro\u017cone<\/em>, musieli\u015bmy wymieni\u0107 kilka dysk\u00f3w twardych i ko\u015bci RAM w naszej flocie serwer\u00f3w. Nieoczekiwane odci\u0119cie zasilania spowodowa\u0142o r\u00f3wnie\u017c, \u017ce niekt\u00f3re prze\u0142\u0105czniki sieciowe powr\u00f3ci\u0142y do starszych wersji swojego oprogramowania uk\u0142adowego, co wymaga\u0142o aktualizacji i przywr\u00f3cenia z wcze\u015bniej zapisanych konfiguracji.<\/p>\n Po d\u0142ugim dniu sprz\u0105tania i wielu godzinach pracy naszych zespo\u0142\u00f3w technicznych, uda\u0142o nam si\u0119 ostatecznie uzna\u0107 wszystkie g\u0142\u00f3wne systemy za przywr\u00f3cone, a prace kontynuowali\u015bmy w nocy, aby zidentyfikowa\u0107 i naprawi\u0107 wszelkie dodatkowe systemy, kt\u00f3re wymaga\u0142y uwagi. Uda\u0142o nam si\u0119 rozwi\u0105za\u0107 ten incydent o 16:49 w czwartek, nieco poni\u017cej 12 godzin od pocz\u0105tkowej przerwy w dostawie pr\u0105du.<\/p>\n Wielu naszych klient\u00f3w odzyska\u0142o pe\u0142n\u0105 funkcjonalno\u015b\u0107 us\u0142ugi w ci\u0105gu godziny. Inni musieli czeka\u0107 znacznie d\u0142u\u017cej. To by\u0142 naprawd\u0119 dzie\u0144, w kt\u00f3rym wszyscy musieli\u015bmy stawi\u0107 czo\u0142a wyzwaniom w centrum danych, i doceniamy cierpliwo\u015b\u0107 oraz wyrozumia\u0142o\u015b\u0107, kt\u00f3r\u0105 wielu z Was okaza\u0142o w swoich wiadomo\u015bciach do naszego zespo\u0142u wsparcia.<\/p>\n Rozmawiamy w tym tygodniu z Flexential, aby zrozumie\u0107, gdzie wyst\u0105pi\u0142a awaria i jakie s\u0105 ich plany, aby zapobiec temu konkretnemu scenariuszowi w przysz\u0142o\u015bci.<\/p>\n Je\u015bli kiedykolwiek napotkasz problemy ze swoimi stronami hostowanymi przez DreamHost i podejrzewasz, \u017ce przyczyn\u0105 mo\u017ce by\u0107 szersza awaria systemu, upewnij si\u0119, \u017ce pierwszym miejscem do sprawdzenia informacji b\u0119dzie https:\/\/www.dreamhoststatus.com\/<\/a>. Aktualizacje dotycz\u0105ce statusu naszego systemu s\u0105 r\u00f3wnie\u017c publikowane na @dhstatus<\/a> na X.<\/p>\n Je\u015bli by\u0142e\u015b dotkni\u0119ty wydarzeniami z ostatniego czwartku, przyjmij nasze szczere przeprosiny.<\/p>\n Rozumiemy, \u017ce wybrali\u015b DreamHost, a nie centrum danych, jako swojego zaufanego partnera online. Nie powiniene\u015b martwi\u0107 si\u0119 o to, kto \u015bwiadczy us\u0142ugi dla Twojej strony internetowej \u201edalej w g\u00f3r\u0119 rzeki\u201d. Chocia\u017c chcieli\u015bmy wyja\u015bni\u0107 t\u0119 sytuacj\u0119, rozumiemy, \u017ce odpowiedzialno\u015b\u0107 ko\u0144czy si\u0119 na nas.<\/p>\n Przepraszamy za absolutne niedogodno\u015bci, kt\u00f3re to spowodowa\u0142o dla Twoich stron, Twoich firm i Twojej reputacji online. Zrobimy wszystko, co w naszej mocy, aby wydarzenie takie jak to nie mia\u0142o miejsca ponownie.<\/p>\n","protected":false},"excerpt":{"rendered":" W zesz\u0142ym tygodniu DreamHost do\u015bwiadczy\u0142 rozleg\u0142ej awarii systemu, kt\u00f3ra wp\u0142yn\u0119\u0142a na us\u0142ugi dla wielu naszych klient\u00f3w, kt\u00f3rych us\u0142ugi by\u0142y hostowane w naszym centrum danych \u201ePDX1\u201d. Wiele naszych system\u00f3w by\u0142o nieosi\u0105galnych, a mniej ni\u017c po\u0142owa witryn naszych klient\u00f3w do\u015bwiadczy\u0142a okres\u00f3w przestoju. Us\u0142ugi zosta\u0142y w du\u017cej mierze przywr\u00f3cone w ci\u0105gu 12 godzin, a teraz kiedy [\u2026]<\/p>\n","protected":false},"author":3,"featured_media":0,"menu_order":0,"template":"","meta":{"_acf_changed":false,"_yoast_wpseo_metadesc":"","footnotes":""},"class_list":["post-7430","announcement","type-announcement","status-publish","hentry"],"acf":[],"yoast_head":"\nSystemy Redundantne<\/h2>\n
Nasza Odpowied\u017a<\/h2>\n
Sprz\u0105tanie<\/h2>\n
Nast\u0119pne Kroki<\/h2>\n
Przepraszamy<\/h2>\n