La semaine derni\u00e8re, DreamHost a connu une panne syst\u00e8me g\u00e9n\u00e9ralis\u00e9e qui a affect\u00e9 le service pour un grand nombre de nos clients avec des services h\u00e9berg\u00e9s dans notre centre de donn\u00e9es \u201cPDX1\u201d. De nombreux syst\u00e8mes \u00e9taient inaccessibles, et moins de la moiti\u00e9 des sites de nos clients ont connu des p\u00e9riodes d\u2019indisponibilit\u00e9.<\/p>\n\n\n
Le service a \u00e9t\u00e9 largement r\u00e9tabli dans les 12 heures, et maintenant que les choses se sont calm\u00e9es, nous voulons te fournir une mise \u00e0 jour sur ce qui s’est pass\u00e9, pourquoi cela s’est pass\u00e9, et quels sont nos plans pour \u00e9viter que cela se reproduise.<\/p>\n\n\n
En bref : Le matin du jeudi 2 novembre, l’un des centres de donn\u00e9es qui h\u00e9berge un grand nombre de nos serveurs a perdu de l’\u00e9nergie et ses syst\u00e8mes de puissance redondants ont \u00e9chou\u00e9.<\/p>\n\n\n
Cela ne devrait pas <\/em>\u00eatre arriv\u00e9. Notre centre de donn\u00e9es \u00e0 Hillsboro, Oregon (\u00ab PDX1 \u00bb) est g\u00e9r\u00e9 par Flexential, un leader \u00e9prouv\u00e9 dans la construction, la gestion et les op\u00e9rations de centres de donn\u00e9es. Flexential est responsable de fournir de l’\u00e9nergie \u00e0 nos serveurs dans cette installation.<\/p>\n\n\n \u00c0 leur cr\u00e9dit, leur plan op\u00e9rationnel pour faire face aux probl\u00e8mes d’\u00e9lectricit\u00e9 suit les meilleures pratiques de l’industrie et leurs syst\u00e8mes d’alimentation redondants sont une composante cl\u00e9 de ce qui est, selon tous les comptes, une installation de pointe. Cependant, comme les \u00e9v\u00e9nements de la semaine derni\u00e8re l’ont montr\u00e9, la r\u00e9alit\u00e9 d’un \u00e9v\u00e9nement de panne \u00e9lectrique impr\u00e9vu peut avoir des implications impr\u00e9vues et un effet d’entra\u00eenement qui peut se r\u00e9percuter sur Internet.<\/p>\n\n\n Une configuration standard et courante pour la redondance \u00e9lectrique dans la plupart des centres de donn\u00e9es consiste \u00e0 construire deux syst\u00e8mes d’alimentation enti\u00e8rement redondants. Chaque syst\u00e8me obtient son \u00e9nergie d’un service public via un chemin redondant unique. Chaque syst\u00e8me contient \u00e9galement sa propre banque de UPS (alimentations sans interruption – \u00e9galement connues sous le nom de \u00ab batteries de secours \u00bb) et une flotte de g\u00e9n\u00e9rateurs diesel est pr\u00e9sente sur place pour alimenter l’ensemble de l’installation<\/em> si n\u00e9cessaire.<\/p>\n\n\n Bien qu’un rapport complet de Flexential soit \u00e0 venir, ce que nous avons constat\u00e9 de notre c\u00f4t\u00e9 \u00e9tait une perte partielle de puissance suivie d’une perte totale de puissance pour notre flotte de serveurs. Nous voulons \u00eatre clairs – cela aurait d\u00fb \u00eatre une condition \u00ab impossible \u00bb et nous avions toutes les assurances que c’\u00e9tait le cas, y compris un accord de niveau de service (SLA) de disponibilit\u00e9 de puissance \u00e0 100%. Ces syst\u00e8mes d’alimentation sont test\u00e9s r\u00e9guli\u00e8rement et subissent une maintenance r\u00e9guli\u00e8re et planifi\u00e9e pour garantir qu’ils fonctionneront comme pr\u00e9vu.<\/p>\n\n\n Lors d’une panne de courant typique dans un centre de donn\u00e9es (planifi\u00e9e ou impr\u00e9vue), les batteries UPS se d\u00e9clenchent automatiquement juste assez longtemps pour que l’installation active ses g\u00e9n\u00e9rateurs diesel.<\/p>\n\n\n Il n’est pas clair pourquoi ou comment le syst\u00e8me UPS a \u00e9chou\u00e9, les g\u00e9n\u00e9rateurs ont \u00e9chou\u00e9, ou comment ces deux syst\u00e8mes de puissance automatis\u00e9s, redondants et ind\u00e9pendants ont r\u00e9ussi \u00e0 \u00e9chouer de mani\u00e8re si spectaculaire en m\u00eame temps. Nous pensons que cela a \u00e9t\u00e9 une combinaison d’une panne de service public ainsi que d’une panne de g\u00e9n\u00e9rateur et d\u2019UPS. Une enqu\u00eate compl\u00e8te est en cours et nous nous attendons \u00e0 recevoir les r\u00e9sultats prochainement.<\/p>\n\n\n Peu importe la cause, notre priorit\u00e9 durant cet \u00e9v\u00e9nement \u00e9tait de remettre nos machines en ligne et de restaurer le service pour nos clients.<\/p>\n\n\n Nous avons \u00e9t\u00e9 alert\u00e9s pour la premi\u00e8re fois d’une panne \u00e0 4h41 heure locale le jeudi 2 novembre, via nos propres outils de surveillance hors site.\u00a0 Nous avons imm\u00e9diatement d\u00e9p\u00each\u00e9 des membres de notre \u00e9quipe des op\u00e9rations du centre de donn\u00e9es sur le site pour commencer le processus de remise en ligne des services.\u00a0 Nous avons publi\u00e9 un article de statut<\/a> peu de temps apr\u00e8s pour aider les clients \u00e0 suivre les efforts de restauration des services.<\/p>\n\n\n D\u00e8s que nous avons pris conscience de l’ampleur de cette panne, toute notre \u00e9quipe ex\u00e9cutive a \u00e9t\u00e9 alert\u00e9e et mise en \u00e9tat d’alerte, tandis que chaque sp\u00e9cialiste de notre \u00e9quipe d’Infrastructure (tant ceux situ\u00e9s localement au centre de donn\u00e9es que ceux travaillant \u00e0 distance) a \u00e9t\u00e9 mobilis\u00e9 pour remettre les syst\u00e8mes en ligne.<\/p>\n\n\n \u00c0 un certain moment lors de cette r\u00e9ponse, le syst\u00e8me de contr\u00f4le d’acc\u00e8s<\/em> du b\u00e2timent a \u00e9galement perdu de l’\u00e9nergie, ce qui a rendu un peu difficile pour notre \u00e9quipe d’entrer. Lorsque l’\u00e9nergie a finalement \u00e9t\u00e9 enti\u00e8rement restaur\u00e9e dans notre partie du centre de donn\u00e9es \u00e0 6h08, la redondance que nous avions int\u00e9gr\u00e9e \u00e0 notre propre infrastructure \u00e9nerg\u00e9tique interne a fonctionn\u00e9 comme pr\u00e9vu et attendu.<\/p>\n\n\n Les red\u00e9marrages durs inattendus et les pertes de puissance – \u00e0 n’importe quelle \u00e9chelle – peuvent provoquer des pannes mat\u00e9rielles ainsi que des comportements inattendus dans les logiciels. Comme pr\u00e9vu, nous avons observ\u00e9 les deux.<\/p>\n\n\n Alors qu’un seul ordinateur de bureau ou ordinateur portable peut se remettre \u00e9l\u00e9gamment d’une perte de courant inattendue, ce n’est malheureusement pas la r\u00e9alit\u00e9 dans le contexte d’une grande installation de centre de donn\u00e9es. Avec des milliers de serveurs et des dizaines de commutateurs install\u00e9s \u00e0 cet endroit, c’\u00e9tait un processus soigneux (bien document\u00e9 et ex\u00e9cut\u00e9) pour remettre les syst\u00e8mes en ligne, tester chacun d’eux pour un comportement anormal, et finalement prendre les mesures correctives n\u00e9cessaires.<\/p>\n\n\n Bien que aucune donn\u00e9e client n’ait jamais \u00e9t\u00e9 menac\u00e9e<\/em>, nous avons d\u00fb remplacer plusieurs disques durs et barrettes de RAM dans notre flotte de serveurs. La coupure de courant inattendue a \u00e9galement provoqu\u00e9 le retour \u00e0 des versions ant\u00e9rieures du firmware de certains commutateurs r\u00e9seau, n\u00e9cessitant des mises \u00e0 jour et des restaurations \u00e0 partir de configurations pr\u00e9c\u00e9demment enregistr\u00e9es.<\/p>\n\n\n Apr\u00e8s une longue journ\u00e9e de nettoyage et de nombreuses heures de travail de nos \u00e9quipes techniques, nous avons finalement pu marquer tous les syst\u00e8mes principaux comme restaur\u00e9s, et nous avons continu\u00e9 \u00e0 travailler dans la nuit pour identifier et r\u00e9parer tout syst\u00e8me suppl\u00e9mentaire n\u00e9cessitant de l’attention. Nous avons r\u00e9solu cet incident \u00e0 16h49 le jeudi, juste moins de 12 heures apr\u00e8s la perturbation initiale de l’alimentation.<\/p>\n\n\n De nombreux clients ont vu leur service enti\u00e8rement r\u00e9tabli en moins d’une heure. D’autres ont d\u00fb attendre beaucoup plus longtemps. C’\u00e9tait v\u00e9ritablement une journ\u00e9e o\u00f9 tout le monde a mis la main \u00e0 la p\u00e2te dans le centre de donn\u00e9es, et nous appr\u00e9cions la patience et la compr\u00e9hension que beaucoup d’entre vous ont montr\u00e9es dans vos messages \u00e0 notre \u00e9quipe de Support.<\/p>\n\n\n Nous sommes en conversation avec Flexential cette semaine pour comprendre o\u00f9 les d\u00e9faillances ont eu lieu et quelles sont leurs plans pour \u00e9viter que ce sc\u00e9nario exact se reproduise \u00e0 l’avenir.<\/p>\n\n\n Si tu rencontres des probl\u00e8mes avec tes sites h\u00e9berg\u00e9s par DreamHost et que tu soup\u00e7onnes une panne de syst\u00e8me plus large, assure-toi de faire de https:\/\/www.dreamhoststatus.com\/<\/a> ton premier arr\u00eat pour les informations. Les mises \u00e0 jour sur notre \u00e9tat de syst\u00e8me sont \u00e9galement publi\u00e9es sur @dhstatus<\/a> sur X.<\/p>\n\n\n Si tu as \u00e9t\u00e9 impact\u00e9 par les \u00e9v\u00e9nements de jeudi dernier, nous te pr\u00e9sentons nos sinc\u00e8res excuses.<\/p>\n\n\n Nous r\u00e9alisons que tu as choisi DreamHost, et non un centre de donn\u00e9es, pour \u00eatre ton partenaire en ligne de confiance. Tu ne devrais pas avoir \u00e0 te soucier de qui fournit des services \u00e0 ton site web \u00ab plus en amont \u00bb. Bien que nous voulions apporter de la clart\u00e9 sur cet \u00e9v\u00e9nement, nous comprenons que la responsabilit\u00e9 s’arr\u00eate chez nous.<\/p>\n\n\n Nous sommes d\u00e9sol\u00e9s pour le d\u00e9sagr\u00e9ment total que cela a caus\u00e9 \u00e0 vos sites, \u00e0 vos entreprises et \u00e0 votre r\u00e9putation en ligne. Nous ferons tout ce qui est en notre pouvoir pour garantir qu\u2019un tel \u00e9v\u00e9nement ne se reproduise pas.<\/p>\n","protected":false},"excerpt":{"rendered":" La semaine derni\u00e8re, DreamHost a connu une panne syst\u00e8me \u00e9tendue qui a affect\u00e9 le service pour un grand nombre de nos clients ayant des services h\u00e9berg\u00e9s dans notre centre de donn\u00e9es “PDX1”. De nombreux syst\u00e8mes \u00e9taient inaccessibles, et moins de la moiti\u00e9 des sites de nos clients ont connu des p\u00e9riodes d’indisponibilit\u00e9. Le service a \u00e9t\u00e9 largement r\u00e9tabli dans les 12 heures, et maintenant que [\u2026]<\/p>\n","protected":false},"author":3,"featured_media":0,"menu_order":0,"template":"","meta":{"_acf_changed":false,"_yoast_wpseo_metadesc":"Un post mortem sur les \u00e9v\u00e9nements de jeudi dernier, caus\u00e9s par une perte temporaire de courant dans notre centre de donn\u00e9es PDX1 en Oregon.","footnotes":""},"class_list":["post-11927","announcement","type-announcement","status-publish","hentry"],"acf":[],"yoast_head":"\nSyst\u00e8mes Redondants<\/h2>\n\n\n
Notre R\u00e9ponse<\/h2>\n\n\n
Le Nettoyage<\/h2>\n\n\n
Prochaines \u00c9tapes<\/h2>\n\n\n
Nous sommes d\u00e9sol\u00e9s<\/h2>\n\n\n