Une vague de chaleur en cours au Royaume-Uni a entraîné des pannes de Google Cloud et d’Oracle Cloud après la défaillance des systèmes de refroidissement dans les centres de données des entreprises.
Au cours de la semaine écoulée, le Royaume-Uni a subi une vague de chaleur record qui a provoqué des températures étouffantes dans toute la région.
Cependant, aujourd’hui, avec des températures atteignant un record de 40,2 degrés Celsius (104,4 Fahrenheit), les systèmes de refroidissement des centres de données utilisés par Google et Oracle pour héberger leur infrastructure cloud ont commencé à tomber en panne.
Pour éviter des dommages permanents aux composants matériels et ainsi créer une panne prolongée, Google et Oracle ont tous deux arrêté l’équipement, entraînant des pannes dans leurs services cloud.
Oracle a été le premier à être touché, la société signalant une panne de refroidissement vers 11h30 EST aujourd’hui, provoquant la mise hors tension du « matériel non critique ».
« En raison des températures non saisonnières dans la région, un sous-ensemble d’infrastructures de refroidissement au sein du centre de données du sud du Royaume-Uni (Londres) a rencontré un problème. Cela a conduit à la mise hors tension d’un sous-ensemble de notre infrastructure de services pour éviter les défaillances matérielles incontrôlées », peut-on lire dans un Message d’état Oracle Cloud qui semble avoir été le premier tacheté par TheRegister.
« Cette mesure a été prise dans le but de limiter le potentiel d’impact à long terme pour nos clients. »
Cependant, même avec uniquement du matériel non critique hors tension, Oracle déclare que les clients de cette zone peuvent ne pas être en mesure d’accéder à leurs ressources Oracle Cloud Infrastructure.
Près de deux heures plus tard, Google a également signalé des pannes de refroidissement dans l’un de ses bâtiments hébergeant la zone europe-west2-a pour la région europe-west2.
« Il y a eu une panne liée au refroidissement dans l’un de nos bâtiments qui héberge la zone europe-ouest2-a pour la région europe-ouest2. Cela a provoqué une défaillance partielle de la capacité dans cette zone, entraînant des terminaisons de machines virtuelles et une perte de machines pour un petit nombre de nos clients », peut-on lire dans Google Cloud. rapport d’incident.
« Nous travaillons d’arrache-pied pour remettre le refroidissement en service et créer de la capacité dans cette zone. Nous ne prévoyons pas d’impact supplémentaire dans la zone europe-west2-a et les machines virtuelles en cours d’exécution ne devraient pas être affectées. Un faible pourcentage de périphériques de disque persistant répliqués s’exécutent en mode redondant unique.
« Afin d’éviter d’endommager les machines et une panne prolongée, nous avons mis hors tension une partie de la zone et limitons les lancements préemptibles de GCE. Nous travaillons à restaurer la redondance pour tous les périphériques de disque persistant répliqués restants affectés. »
Comme Oracle, cette défaillance de refroidissement perturbe les clients de Google Cloud, avec des machines virtuelles arrêtées, des machines inaccessibles et des périphériques de disque persistant fonctionnant en mode de redondance unique.
Les deux sociétés déclarent qu’elles ne s’attendent pas à d’autres impacts alors qu’elles s’efforcent de remettre les systèmes de refroidissement en ligne.
Systèmes de refroidissement restaurés
Google et Oracle ont tous deux résolu les problèmes de refroidissement dans leurs centres de données, avec un service restauré pour Google mardi et Oracle mercredi.
Google a rétabli ses services mardi soir à 23 h 45 HNE, avec la mise à jour finale suivante.
« Il y a eu une défaillance liée au refroidissement dans l’un de nos bâtiments qui héberge une partie de la capacité de la zone europe-ouest2-a pour la région europe-ouest2 qui est maintenant résolue. Les impacts de la GCE, du disque persistant et de la mise à l’échelle automatique ont été traités. Les clients peuvent lancer des machines virtuelles dans toutes les zones d’europe-ouest2. Un petit nombre de volumes de disque persistant sauvegardés sur disque dur subissent toujours un impact et présentent des erreurs d’E/S. Si vous continuez à rencontrer des problèmes avec ces services, contactez le support technique Google Cloud et reportez-vous à ce message.
Oracle a mis un peu plus de temps à restaurer le refroidissement, avec des services restaurés mercredi à 7h00 HNE.
« Suite à des températures anormalement élevées dans la région sud du Royaume-Uni (Londres), deux unités plus froides du centre de données ont connu une défaillance lorsqu’elles ont dû fonctionner au-dessus de leurs limites de conception. En conséquence, les températures dans le centre de données ont commencé à grimper, ce qui a entraîné l’arrêt d’un sous-ensemble de l’infrastructure de calcul.
Mise à jour 20/07/22 16h55 HNE: Ajout de mises à jour sur les problèmes du système de refroidissement.
