La semana pasada, DreamHost experiment\u00f3 una interrupci\u00f3n general del sistema que afect\u00f3 el servicio de un gran n\u00famero de nuestros clientes con servicios alojados en nuestro centro de datos \u201cPDX1\u201d. Muchos de nuestros sistemas estaban inaccesibles y menos de la mitad de los sitios de nuestros clientes experimentaron per\u00edodos de inactividad.<\/p>\n
El servicio fue restaurado en gran medida dentro de las 12 horas, y ahora que el polvo se ha asentado queremos ofrecerte una actualizaci\u00f3n sobre qu\u00e9 sucedi\u00f3, por qu\u00e9 sucedi\u00f3 y cu\u00e1les son nuestros planes para evitar que vuelva a suceder.<\/p>\n
En resumen: La ma\u00f1ana del jueves 2 de noviembre, uno de los centros de datos que alberga un gran n\u00famero de nuestros servidores perdi\u00f3 energ\u00eda y sus sistemas de energ\u00eda redundantes fallaron.<\/p>\n
Esto no deber\u00eda <\/em>haber ocurrido. Nuestro centro de datos en Hillsboro, Oreg\u00f3n (\u201cPDX1\u201d) es operado por Flexential, un l\u00edder comprobado en la construcci\u00f3n, gesti\u00f3n y operaciones de centros de datos. Flexential es responsable de proporcionar energ\u00eda a nuestros servidores en esta instalaci\u00f3n.<\/p>\n A su favor, su plan operativo para lidiar con problemas de energ\u00eda sigue las mejores pr\u00e1cticas de la industria y sus sistemas de energ\u00eda redundantes son un componente clave de lo que es, seg\u00fan todos los informes, una instalaci\u00f3n de \u00faltima generaci\u00f3n. Sin embargo, como los eventos de la semana pasada han demostrado, la realidad de un evento de energ\u00eda inesperado puede tener implicaciones imprevistas y un efecto domin\u00f3 que puede repercutir a trav\u00e9s de Internet.<\/p>\n Una configuraci\u00f3n est\u00e1ndar y com\u00fan para la redundancia de energ\u00eda dentro de la mayor\u00eda de los centros de datos es construir dos sistemas de energ\u00eda completamente redundantes. Cada sistema obtiene su energ\u00eda de un servicio p\u00fablico a trav\u00e9s de un camino redundante \u00fanico. Cada sistema tambi\u00e9n contiene su propio banco de UPSs (fuentes de alimentaci\u00f3n ininterrumpida \u2013 tambi\u00e9n conocidas como \u201cbater\u00edas de emergencia\u201d) y una flota de generadores di\u00e9sel se encuentra en el sitio para alimentar toda la instalaci\u00f3n<\/em> si es necesario.<\/p>\n Mientras esperamos un informe completo de Flexential, lo que observamos desde nuestro lado fue una p\u00e9rdida parcial de energ\u00eda seguida de una p\u00e9rdida total de energ\u00eda para nuestra flota de servidores. Queremos ser claros: esta deber\u00eda haber sido una condici\u00f3n \u201cimposible\u201d y ten\u00edamos todas las garant\u00edas de que as\u00ed ser\u00eda, incluyendo un acuerdo de nivel de servicio (SLA) de disponibilidad de energ\u00eda del 100%. Estos sistemas de energ\u00eda se prueban regularmente y se someten a mantenimiento programado regularmente para asegurar que funcionar\u00e1n como se espera.<\/p>\n Durante un corte de energ\u00eda t\u00edpico en el centro de datos (planificado o no planificado), las bater\u00edas UPS se activan autom\u00e1ticamente justo el tiempo suficiente para que la instalaci\u00f3n active sus generadores di\u00e9sel.<\/p>\n No est\u00e1 claro por qu\u00e9 o c\u00f3mo fall\u00f3 el sistema de UPS, fallaron los generadores, o c\u00f3mo ambos de estos sistemas de energ\u00eda autom\u00e1ticos, redundantes e independientes lograron fallar de manera tan espectacular al mismo tiempo. Creemos que esto ha sido una combinaci\u00f3n de un fallo de utilidad as\u00ed como un fallo del generador y del UPS. Una investigaci\u00f3n completa est\u00e1 en curso y esperamos recibir resultados pr\u00f3ximamente.<\/p>\n Independientemente de la causa, nuestro enfoque y nuestra prioridad durante este evento fue volver a poner en l\u00ednea nuestras m\u00e1quinas y restaurar el servicio a nuestros clientes.<\/p>\n Fuimos alertados por primera vez de una interrupci\u00f3n a las 4:41 am hora local el jueves, 2 de noviembre, a trav\u00e9s de nuestras propias herramientas de monitoreo externas. Inmediatamente enviamos a miembros de nuestro equipo de Operaciones del Centro de Datos a la instalaci\u00f3n para comenzar el proceso de reactivaci\u00f3n de los servicios. Publicamos una publicaci\u00f3n de estado<\/a> poco despu\u00e9s para ayudar a los clientes a seguir los esfuerzos de restauraci\u00f3n del servicio.<\/p>\n Una vez que nos dimos cuenta del alcance total de este corte, todo nuestro equipo ejecutivo fue alertado y puesto en aviso, mientras que cada especialista de nuestro equipo de Infraestructura (tanto los locales en el centro de datos como aquellos trabajando remotamente) fue convocado para reestablecer los sistemas.<\/p>\n En alg\u00fan momento durante esta respuesta, el sistema de control de acceso<\/em> del edificio tambi\u00e9n perdi\u00f3 energ\u00eda, lo que supuso un desaf\u00edo para nuestro equipo para poder entrar. Cuando la energ\u00eda fue finalmente restaurada por completo en nuestra secci\u00f3n del centro de datos a las 6:08 am, la redundancia que hab\u00edamos incorporado en nuestra propia infraestructura de energ\u00eda interna funcion\u00f3 como estaba dise\u00f1ado y como se esperaba.<\/p>\n Los reinicios duros inesperados y la p\u00e9rdida de energ\u00eda, en cualquier escala, pueden causar tanto fallos de hardware como comportamientos inesperados en el software. Como se esperaba, vimos mucho de ambos.<\/p>\n Aunque un solo PC de escritorio o laptop puede recuperarse con gracia de una p\u00e9rdida inesperada de energ\u00eda, esa lamentablemente no es la realidad dentro del contexto de una instalaci\u00f3n de un gran centro de datos. Con miles de servidores y decenas de switches instalados en esta ubicaci\u00f3n, fue un proceso cuidadoso (bien documentado y ejecutado) para volver a poner en l\u00ednea los sistemas, probar cada uno de ellos para detectar comportamientos an\u00f3malos y, finalmente, tomar las acciones correctivas necesarias.<\/p>\n Mientras los datos de los clientes nunca estuvieron en riesgo<\/em>, tuvimos que reemplazar m\u00e1s de unos cuantos discos duros y barretas de RAM en nuestra flota de servidores. El corte de energ\u00eda inesperado tambi\u00e9n caus\u00f3 que algunos interruptores de red volvieran a versiones anteriores de su firmware, necesitando actualizaciones y restauraciones de configuraciones previamente guardadas.<\/p>\n Despu\u00e9s de un largo d\u00eda de limpieza y muchas horas de trabajo por parte de nuestros equipos t\u00e9cnicos, finalmente pudimos marcar todos los sistemas principales como restaurados, y continuamos trabajando durante la noche para identificar y reparar cualquier sistema adicional que necesitara atenci\u00f3n. Resolvimos este incidente a las 4:49 pm del jueves, justo menos de 12 horas desde la interrupci\u00f3n inicial de energ\u00eda.<\/p>\n Muchos de nuestros clientes vieron el servicio completamente restaurado en menos de una hora. Otros tuvieron que esperar mucho m\u00e1s tiempo. Fue verdaderamente un d\u00eda de todos manos a la obra para nosotros en el centro de datos, y agradecemos la paciencia y gracia que muchos de ustedes han mostrado en sus mensajes a nuestro equipo de soporte.<\/p>\n Esta semana estamos en conversaci\u00f3n con Flexential para entender d\u00f3nde ocurrieron los fallos y cu\u00e1les son sus planes para evitar que este escenario exacto se repita en el futuro.<\/p>\n Si alguna vez experimentas problemas con tus sitios alojados en DreamHost y sospechas que puede ser debido a una interrupci\u00f3n del sistema m\u00e1s amplia, aseg\u00farate de hacer de https:\/\/www.dreamhoststatus.com\/<\/a> tu primera parada para obtener informaci\u00f3n. Las actualizaciones sobre el estado de nuestro sistema tambi\u00e9n se publican en @dhstatus<\/a> en X.<\/p>\n Si se vio afectado por los eventos del pasado jueves, acepte nuestras sinceras disculpas.<\/p>\n Somos conscientes de que elegiste a DreamHost, no a un Centro de Datos, para ser tu socio de confianza en l\u00ednea. No deber\u00edas tener que preocuparte por qui\u00e9n proporciona servicios a tu sitio web “m\u00e1s arriba”. Aunque quer\u00edamos proporcionar claridad sobre este evento, entendemos que la responsabilidad final es nuestra.<\/p>\n Lamentamos profundamente las molestias absolutas que esto ha causado a sus sitios, sus negocios y su reputaci\u00f3n en l\u00ednea. Haremos todo lo que est\u00e9 en nuestro poder para asegurar que un evento como este no vuelva a ocurrir.<\/p>\n","protected":false},"excerpt":{"rendered":" La semana pasada DreamHost experiment\u00f3 una interrupci\u00f3n general del sistema que afect\u00f3 el servicio de un gran n\u00famero de nuestros clientes con servicios alojados en nuestro centro de datos \u201cPDX1\u201d. Muchos de nuestros sistemas estaban inaccesibles, y menos de la mitad de los sitios de nuestros clientes experimentaron per\u00edodos de inactividad. El servicio fue restaurado en gran medida dentro de las 12 horas, y ahora que [\u2026]<\/p>\n","protected":false},"author":3,"featured_media":0,"menu_order":0,"template":"","meta":{"_acf_changed":false,"_yoast_wpseo_metadesc":"","footnotes":""},"class_list":["post-7426","announcement","type-announcement","status-publish","hentry"],"acf":[],"yoast_head":"\nSistemas Redundantes<\/h2>\n
Nuestra Respuesta<\/h2>\n
La Limpieza<\/h2>\n
Pr\u00f3ximos Pasos<\/h2>\n
Lo sentimos<\/h2>\n