Letzte Woche erlebte DreamHost einen weitreichenden Systemausfall, der den Service f\u00fcr eine gro\u00dfe Anzahl unserer Kunden beeintr\u00e4chtigte, deren Dienste in unserem “PDX1” Datenzentrum gehostet wurden. Viele unserer Systeme waren nicht erreichbar, und weniger als die H\u00e4lfte der Websites unserer Kunden erlebten Ausfallzeiten.<\/p>\n
Der Service wurde innerhalb von 12 Stunden gr\u00f6\u00dftenteils wiederhergestellt, und jetzt, da sich der Staub gelegt hat, m\u00f6chten wir Ihnen ein Update dar\u00fcber geben, was passiert ist, warum es passiert ist und was unsere Pl\u00e4ne sind, um zu verhindern, dass es wieder vorkommt.<\/p>\n
Kurz gesagt: Am Morgen des Donnerstag, 2. November, verlor eines der Datenzentren, das eine gro\u00dfe Anzahl unserer Server beherbergt, die Stromversorgung und seine redundanten Stromsysteme versagten.<\/p>\n
Dies sollte nicht <\/em>passiert sein. Unser Datenzentrum in Hillsboro, Oregon (\u201ePDX1\u201c) wird von Flexential betrieben, einem bew\u00e4hrten Anf\u00fchrer im Bau, Management und Betrieb von Datenzentren. Flexential ist verantwortlich f\u00fcr die Stromversorgung unserer Server in dieser Einrichtung.<\/p>\n Zu ihrem Verdienst folgt ihr Betriebsplan f\u00fcr den Umgang mit Stromproblemen den branchen\u00fcblichen Best Practices und ihre redundanten Stromsysteme sind ein Schl\u00fcsselelement f\u00fcr das, was nach allen Berichten eine hochmoderne Einrichtung ist. Allerdings haben die Ereignisse der letzten Woche gezeigt, dass die Realit\u00e4t eines unerwarteten Stromereignisses unvorhergesehene Auswirkungen haben kann und einen Dominoeffekt ausl\u00f6sen kann, der sich im gesamten Internet ausbreiten kann.<\/p>\n Eine standardm\u00e4\u00dfige und h\u00e4ufige Konfiguration f\u00fcr Stromredundanz in den meisten Datenzentren besteht darin, zwei vollst\u00e4ndig redundante Stromsysteme einzubauen. Jedes System bezieht seinen Strom von einem Versorgungsunternehmen \u00fcber einen einzigartigen, redundanten Weg. Jedes System enth\u00e4lt auch seine eigene Bank von USVs (unterbrechungsfreie Stromversorgungen \u2013 auch \u201eNotfallbatterien\u201c genannt) und eine Flotte von Dieselgeneratoren befindet sich vor Ort, um die gesamte Einrichtung<\/em> bei Bedarf mit Strom zu versorgen.<\/p>\n W\u00e4hrend ein vollst\u00e4ndiger Bericht von Flexential noch bevorsteht, was wir von unserer Seite sahen, war ein teilweiser Verlust der Stromversorgung, gefolgt von einem kompletten Verlust der Stromversorgung f\u00fcr unsere Serverflotte. Wir m\u00f6chten klarstellen \u2013 dies h\u00e4tte eine \u201eunm\u00f6gliche\u201c Bedingung sein sollen und wir hatten alle Zusicherungen, dass dies der Fall war, einschlie\u00dflich einer 100% Stromverf\u00fcgbarkeits-Servicegarantie (SLA). Diese Stromsysteme werden regelm\u00e4\u00dfig getestet und unterliegen regelm\u00e4\u00dfiger, geplanter Wartung, um sicherzustellen, dass sie wie vorgesehen funktionieren.<\/p>\n W\u00e4hrend eines typischen Stromausfalls im Datenzentrum (geplant oder ungeplant) schalten sich die USV-Batterien automatisch ein, gerade lange genug, damit die Anlage ihre dieselbetriebenen Generatoren aktivieren kann.<\/p>\n Es ist unklar, warum oder wie das UPS-System ausfiel, die Generatoren ausfielen oder wie beide dieser automatisierten, redundanten, unabh\u00e4ngigen Stromsysteme gleichzeitig so spektakul\u00e4r versagen konnten. Wir glauben, dass dies eine Kombination aus einem Versorgungsausfall sowie einem Generator- und UPS-Ausfall war. Eine vollst\u00e4ndige Untersuchung l\u00e4uft und wir erwarten in K\u00fcrze Ergebnisse.<\/p>\n Unabh\u00e4ngig von der Ursache lag unser Fokus und unsere Priorit\u00e4t w\u00e4hrend dieses Ereignisses darauf, unsere Maschinen wieder in Betrieb zu nehmen und den Service f\u00fcr unsere Kunden wiederherzustellen.<\/p>\n Wir wurden zuerst um 4:41 Uhr Ortszeit am Donnerstag, den 2. November, durch unsere eigenen externen \u00dcberwachungstools auf einen Ausfall aufmerksam gemacht. Wir haben sofort Mitglieder unseres Datenzentrum-Betriebsteams entsandt, um den Prozess der Wiederherstellung der Dienste zu beginnen. Kurz darauf haben wir einen Statusbeitrag<\/a> ver\u00f6ffentlicht, um Kunden dabei zu helfen, den Fortschritt der Wiederherstellungsbem\u00fchungen zu verfolgen.<\/p>\n Nachdem wir das volle Ausma\u00df dieses Ausfalls erkannt hatten, wurde unser gesamtes F\u00fchrungsteam alarmiert und in Bereitschaft versetzt, w\u00e4hrend jeder Spezialist unseres Infrastrukturteams (sowohl vor Ort im Datenzentrum als auch diejenigen, die aus der Ferne arbeiteten) herangezogen wurde, um die Systeme wieder in Betrieb zu nehmen.<\/p>\n Zu einem bestimmten Zeitpunkt w\u00e4hrend dieser Antwort verlor auch das Zugangskontrollsystem<\/em> des Geb\u00e4udes den Strom, was es f\u00fcr unser Team zu einer Herausforderung machte, Zutritt zu erhalten. Als um 6:08 Uhr endlich der volle Strom in unseren Bereich des Datenzentrums wiederhergestellt wurde, funktionierte die Redundanz, die wir in unsere eigene interne Strominfrastruktur eingebaut hatten, wie geplant und erwartet.<\/p>\n Unerwartete harte Neustarts und Stromausf\u00e4lle \u2013 in jeder Gr\u00f6\u00dfenordnung \u2013 k\u00f6nnen sowohl Hardwareausf\u00e4lle als auch unerwartetes Verhalten in Software verursachen. Wie erwartet, haben wir reichlich von beidem gesehen.<\/p>\n W\u00e4hrend ein einzelner Desktop-PC oder Laptop m\u00f6glicherweise problemlos von einem unerwarteten Stromausfall erholen kann, ist dies leider nicht die Realit\u00e4t im Kontext einer gro\u00dfen Datenzentrum-Installation. Mit Tausenden von Servern und Dutzenden von Schaltern an diesem Standort war es ein sorgf\u00e4ltiger Prozess (gut dokumentiert und ausgef\u00fchrt), um die Systeme wieder online zu bringen, jedes von ihnen auf anomales Verhalten zu testen und letztendlich die erforderlichen Korrekturma\u00dfnahmen zu ergreifen.<\/p>\n Obwohl keine Kundendaten jemals gef\u00e4hrdet waren<\/em>, mussten wir mehrere Festplatten und RAM-Sticks in unserer Serverflotte austauschen. Der unerwartete Stromausfall f\u00fchrte auch dazu, dass einige Netzwerk-Switches auf \u00e4ltere Versionen ihrer Firmware zur\u00fcckgesetzt wurden, was Upgrades und Wiederherstellungen von zuvor gespeicherten Konfigurationen erforderte.<\/p>\n Nach einem langen Tag der Aufr\u00e4umarbeiten und vielen langen Stunden, die von unseren technischen Teams geleistet wurden, konnten wir schlie\u00dflich alle Hauptsysteme als wiederhergestellt kennzeichnen, und wir arbeiteten weiter in die Nacht hinein, um zus\u00e4tzliche Systeme zu identifizieren und zu reparieren, die Aufmerksamkeit ben\u00f6tigten. Wir haben diesen Vorfall um 16:49 Uhr am Donnerstag gel\u00f6st, knapp 12 Stunden nach der anf\u00e4nglichen Stromunterbrechung.<\/p>\n Viele unserer Kunden sahen den Dienst in weniger als einer Stunde vollst\u00e4ndig wiederhergestellt. Andere mussten viel l\u00e4nger warten. Es war wirklich ein Tag, an dem alle verf\u00fcgbar waren, f\u00fcr uns im Datenzentrum, und wir sch\u00e4tzen die Geduld und Gnade, die viele von Ihnen in Ihren Nachrichten an unser Support-Team gezeigt haben.<\/p>\n Wir f\u00fchren diese Woche Gespr\u00e4che mit Flexential, um zu verstehen, wo die Fehler aufgetreten sind und welche Pl\u00e4ne sie haben, um genau dieses Szenario in Zukunft zu verhindern.<\/p>\n Wenn Sie jemals Probleme mit Ihren bei DreamHost gehosteten Seiten haben und vermuten, dass eine umfassendere Systemst\u00f6rung die Ursache sein k\u00f6nnte, stellen Sie sicher, dass https:\/\/www.dreamhoststatus.com\/<\/a> Ihre erste Anlaufstelle f\u00fcr Informationen ist. Updates zu unserem Systemstatus werden auch auf @dhstatus<\/a> auf X ver\u00f6ffentlicht.<\/p>\n Wenn Sie von den Ereignissen letzten Donnerstag betroffen waren, bitten wir Sie aufrichtig um Entschuldigung.<\/p>\n Wir wissen, dass Sie sich f\u00fcr DreamHost und nicht f\u00fcr ein Datenzentrum entschieden haben, um Ihr vertrauensw\u00fcrdiger Online-Partner zu sein. Sie sollten sich keine Sorgen dar\u00fcber machen m\u00fcssen, wer die Dienste f\u00fcr Ihre Website “weiter stromaufw\u00e4rts” bereitstellt. Obwohl wir Klarheit in dieses Ereignis bringen wollten, verstehen wir, dass die Verantwortung letztendlich bei uns liegt.<\/p>\n Es tut uns leid f\u00fcr die absoluten Unannehmlichkeiten, die dies f\u00fcr Ihre Websites, Ihre Gesch\u00e4fte und Ihren Online-Ruf verursacht hat. Wir werden alles in unserer Macht Stehende tun, um sicherzustellen, dass ein solches Ereignis nicht wieder vorkommt.<\/p>\n","protected":false},"excerpt":{"rendered":" Letzte Woche erlebte DreamHost eine weitreichende Systemausfall, der den Dienst f\u00fcr eine gro\u00dfe Anzahl unserer Kunden mit in unserem \u201ePDX1\u201c Datenzentrum gehosteten Diensten beeintr\u00e4chtigte. Viele unserer Systeme waren unerreichbar, und weniger als die H\u00e4lfte der Websites unserer Kunden hatten Ausfallzeiten. Der Dienst wurde gr\u00f6\u00dftenteils innerhalb von 12 Stunden wiederhergestellt, und jetzt, da die [\u2026]<\/p>\n","protected":false},"author":3,"featured_media":0,"menu_order":0,"template":"","meta":{"_acf_changed":false,"_yoast_wpseo_metadesc":"","footnotes":""},"class_list":["post-7429","announcement","type-announcement","status-publish","hentry"],"acf":[],"yoast_head":"\nRedundante Systeme<\/h2>\n
Unsere Antwort<\/h2>\n
Die S\u00e4uberung<\/h2>\n
N\u00e4chste Schritte<\/h2>\n
Es tut uns leid<\/h2>\n