Na semana passada, a DreamHost enfrentou uma interrup\u00e7\u00e3o generalizada do sistema que impactou o servi\u00e7o de um grande n\u00famero de nossos clientes com servi\u00e7os hospedados em nosso centro de dados \u201cPDX1\u201d. Muitos de nossos sistemas ficaram inacess\u00edveis, e menos da metade dos sites de nossos clientes experimentaram per\u00edodos de inatividade.<\/p>\n
O servi\u00e7o foi amplamente restaurado dentro de 12 horas, e agora que a poeira baixou, queremos fornecer a voc\u00ea uma atualiza\u00e7\u00e3o sobre o que aconteceu, por que aconteceu e quais s\u00e3o nossos planos para evitar que isso aconte\u00e7a novamente.<\/p>\n
Em resumo: Na manh\u00e3 de quinta-feira, 2 de novembro, um dos Centros de Dados que abriga um grande n\u00famero dos nossos servidores perdeu energia e seus sistemas de energia redundantes falharam.<\/p>\n
Isso n\u00e3o deveria ter <\/em>acontecido. Nosso Centro de Dados em Hillsboro, Oregon (\u201cPDX1\u201d) \u00e9 gerenciado pela Flexential, uma l\u00edder comprovada na constru\u00e7\u00e3o, gerenciamento e opera\u00e7\u00f5es de centros de dados. A Flexential \u00e9 respons\u00e1vel por fornecer energia para nossos servidores nesta instala\u00e7\u00e3o.<\/p>\n Para seu cr\u00e9dito, o plano operacional deles para lidar com problemas de energia segue as melhores pr\u00e1ticas do setor e seus sistemas de energia redundantes s\u00e3o um componente chave para o que \u00e9, segundo todos os relatos, uma instala\u00e7\u00e3o de \u00faltima gera\u00e7\u00e3o. No entanto, como os eventos da semana passada mostraram, a realidade de um evento de energia inesperado pode ter implica\u00e7\u00f5es imprevistas e um efeito cascata que pode repercutir em toda a Internet.<\/p>\n Uma configura\u00e7\u00e3o padr\u00e3o e comum para redund\u00e2ncia de energia dentro da maioria dos centros de dados \u00e9 construir dois sistemas de energia totalmente redundantes. Cada sistema obt\u00e9m sua energia de uma utilidade por meio de um caminho redundante \u00fanico. Cada sistema tamb\u00e9m cont\u00e9m seu pr\u00f3prio banco de UPSs (fontes de alimenta\u00e7\u00e3o ininterrupta \u2013 tamb\u00e9m conhecidas como “baterias de emerg\u00eancia”) e uma frota de geradores a diesel fica no local para alimentar toda a instala\u00e7\u00e3o<\/em> se necess\u00e1rio.<\/p>\n Embora um relat\u00f3rio completo da Flexential esteja a caminho, o que observamos do nosso lado foi uma perda parcial de energia seguida por uma perda completa de energia para a nossa frota de servidores. Queremos deixar claro \u2013 isso deveria ter sido uma condi\u00e7\u00e3o \u201cimposs\u00edvel\u201d e t\u00ednhamos todas as garantias de que seria, incluindo um acordo de n\u00edvel de servi\u00e7o (SLA) de disponibilidade de energia de 100%. Esses sistemas de energia s\u00e3o testados regularmente e passam por manuten\u00e7\u00f5es regulares e programadas para garantir que funcionar\u00e3o conforme o esperado.<\/p>\n Em um t\u00edpico apag\u00e3o no centro de dados (planejado ou n\u00e3o), as baterias UPS entram em a\u00e7\u00e3o automaticamente apenas o tempo suficiente para que a instala\u00e7\u00e3o ative seus geradores a diesel.<\/p>\n N\u00e3o est\u00e1 claro por que ou como o sistema de UPS falhou, os geradores falharam, ou como ambos esses sistemas de energia autom\u00e1ticos, redundantes e independentes conseguiram falhar t\u00e3o espetacularmente ao mesmo tempo. Acreditamos que isso tenha sido uma combina\u00e7\u00e3o de uma falha de utilidade, assim como uma falha de gerador e de UPS. Uma investiga\u00e7\u00e3o completa est\u00e1 em andamento e esperamos receber os resultados em breve.<\/p>\n Independentemente da causa, nosso foco e nossa prioridade durante este evento foi trazer nossas m\u00e1quinas de volta \u00e0 opera\u00e7\u00e3o e restaurar o servi\u00e7o para nossos clientes.<\/p>\n Fomos alertados pela primeira vez sobre uma interrup\u00e7\u00e3o \u00e0s 4:41 da manh\u00e3, hor\u00e1rio local, na quinta-feira, 2 de novembro, por meio de nossas pr\u00f3prias ferramentas de monitoramento fora do local. Imediatamente despachamos membros da nossa equipe de Opera\u00e7\u00f5es do Centro de Dados para a instala\u00e7\u00e3o para iniciar o processo de restaura\u00e7\u00e3o dos servi\u00e7os. Publicamos um post de status<\/a> logo em seguida para ajudar os clientes a acompanhar os esfor\u00e7os de restaura\u00e7\u00e3o do servi\u00e7o.<\/p>\n Assim que percebemos a extens\u00e3o total dessa interrup\u00e7\u00e3o, toda a nossa equipe executiva foi acionada e colocada em alerta, enquanto cada especialista da nossa equipe de Infraestrutura (tanto os que est\u00e3o localizados no centro de dados quanto os que trabalham remotamente) foi chamado para restabelecer os sistemas.<\/p>\n Em algum momento durante essa resposta, o sistema de controle de acesso<\/em> do pr\u00e9dio tamb\u00e9m perdeu energia, tornando um pouco desafiador para nossa equipe conseguir entrar. Quando a energia total foi finalmente restaurada em nossa parte do centro de dados \u00e0s 6:08 da manh\u00e3, a redund\u00e2ncia que hav\u00edamos incorporado em nossa pr\u00f3pria infraestrutura interna de energia funcionou conforme projetado e conforme esperado.<\/p>\n Reinicializa\u00e7\u00f5es inesperadas e perda de energia \u2013 em qualquer escala \u2013 podem causar falhas de hardware e comportamentos inesperados no software. Como esperado, vimos bastante de ambos.<\/p>\n Embora um \u00fanico PC de mesa ou laptop possa se recuperar graciosamente de uma perda inesperada de energia, essa infelizmente n\u00e3o \u00e9 a realidade no contexto de uma instala\u00e7\u00e3o de um grande Centro de Dados. Com milhares de servidores e dezenas de switches instalados neste local, foi um processo cuidadoso (bem documentado e executado) para reiniciar os sistemas, testar cada um deles quanto a comportamentos an\u00f4malos e, finalmente, tomar as medidas corretivas necess\u00e1rias.<\/p>\n Embora nenhum dado de cliente tenha sido comprometido<\/em>, tivemos que substituir mais de alguns discos r\u00edgidos e barras de RAM em nossa frota de servidores. O corte de energia inesperado tamb\u00e9m fez com que alguns switches de rede voltassem para vers\u00f5es antigas de seus firmwares, necessitando de atualiza\u00e7\u00f5es e restaura\u00e7\u00f5es a partir de configura\u00e7\u00f5es previamente salvas.<\/p>\n Ap\u00f3s um longo dia de limpeza e muitas horas de trabalho por parte de nossas equipes t\u00e9cnicas, conseguimos finalmente declarar todos os principais sistemas como restaurados, e continuamos trabalhando durante a noite para identificar e reparar quaisquer sistemas adicionais que precisassem de aten\u00e7\u00e3o. Resolvemos este incidente \u00e0s 16:49 de quinta-feira, pouco menos de 12 horas ap\u00f3s a interrup\u00e7\u00e3o inicial de energia.<\/p>\n Muitos de nossos clientes tiveram o servi\u00e7o totalmente restaurado em menos de uma hora. Outros tiveram que esperar muito mais. Foi verdadeiramente um dia de mobiliza\u00e7\u00e3o total para n\u00f3s no centro de dados, e agradecemos a paci\u00eancia e a compreens\u00e3o que muitos de voc\u00eas demonstraram em suas mensagens para nossa equipe de Suporte.<\/p>\n Estamos em conversa com a Flexential esta semana para entender onde ocorreu(ram) o(s) erro(s) e quais s\u00e3o seus planos para evitar que este exato cen\u00e1rio aconte\u00e7a no futuro.<\/p>\n Se voc\u00ea tiver problemas com seus sites hospedados na DreamHost e suspeitar que uma falha mais ampla no sistema possa ser a causa, certifique-se de fazer do https:\/\/www.dreamhoststatus.com\/<\/a> sua primeira parada para informa\u00e7\u00f5es. Atualiza\u00e7\u00f5es sobre o status do nosso sistema tamb\u00e9m s\u00e3o postadas em @dhstatus<\/a> no X.<\/p>\n Se voc\u00ea foi impactado pelos eventos da \u00faltima quinta-feira, aceite nossas sinceras desculpas.<\/p>\n Percebemos que voc\u00ea escolheu a DreamHost, n\u00e3o um Centro de Dados, para ser seu parceiro online de confian\u00e7a. Voc\u00ea n\u00e3o deveria ter que se preocupar com quem fornece servi\u00e7os ao seu site “mais acima na corrente”. Embora quis\u00e9ssemos proporcionar clareza sobre este evento, entendemos que a responsabilidade final \u00e9 nossa.<\/p>\n Lamentamos profundamente o transtorno absoluto que isso causou aos seus sites, seus neg\u00f3cios e sua reputa\u00e7\u00e3o online. Faremos tudo ao nosso alcance para garantir que um evento como este n\u00e3o se repita.<\/p>\n","protected":false},"excerpt":{"rendered":" Na semana passada, a DreamHost enfrentou uma interrup\u00e7\u00e3o generalizada do sistema que impactou o servi\u00e7o para um grande n\u00famero de nossos clientes com servi\u00e7os hospedados em nosso data center \u201cPDX1\u201d. Muitos dos nossos sistemas estavam inacess\u00edveis e menos da metade dos sites de nossos clientes experimentaram per\u00edodos de inatividade. O servi\u00e7o foi amplamente restaurado dentro de 12 horas, e agora que o [\u2026]<\/p>\n","protected":false},"author":3,"featured_media":0,"menu_order":0,"template":"","meta":{"_acf_changed":false,"_yoast_wpseo_metadesc":"","footnotes":""},"class_list":["post-7425","announcement","type-announcement","status-publish","hentry"],"acf":[],"yoast_head":"\nSistemas Redundantes<\/h2>\n
Nossa Resposta<\/h2>\n
A Limpeza<\/h2>\n
Pr\u00f3ximos Passos<\/h2>\n
Sentimos muito<\/h2>\n