Google LLC a déclaré aujourd’hui qu’une simple erreur «zéro» était responsable de la mise hors ligne de son système d’authentification mondial et d’empêcher les utilisateurs d’accéder à Gmail, YouTube et ses services cloud pendant plus d’une heure la semaine dernière.

La société a déclaré un jour après la panne du 14 décembre que son analyse préliminaire avait révélé que la cause de l’incident était un problème avec son système automatisé de gestion des quotas de stockage. Cela, selon Google, a entraîné une réduction de la capacité de son système central de gestion des identités, empêchant ainsi les gens d’accéder aux services qui les obligent à se connecter.

La panne n’a duré qu’une heure environ, mais elle a été remarquée par des millions de personnes dans le monde. Cela a également affecté des milliers d’entreprises qui s’appuient sur Google Cloud Platform pour leurs ressources informatiques. C’est mauvais pour les entreprises, bien sûr, car la fiabilité et la disponibilité des services cloud sont parmi les considérations les plus importantes pour toute entreprise.

Google rapport d’incident complet à condition que mardi montre que le problème a été causé par ce qu’il appelle une erreur «zéro» générée par un système de quota de stockage hérité qu’il utilise pour provisionner automatiquement le stockage pour son système d’authentification.

«Dans le cadre de la migration en cours du service User ID vers un nouveau système de quotas, une modification a été apportée en octobre pour enregistrer le service User ID avec le nouveau système de quotas, mais des parties de l’ancien système de quotas ont été laissées en place, ce qui était incorrectement signalé. l’utilisation du service d’identification d’utilisateur est égale à 0 », indique le rapport. «En conséquence, le quota pour la base de données des comptes a été réduit, ce qui a empêché le leader de Paxos d’écrire. Peu de temps après, la majorité des opérations de lecture sont devenues obsolètes, ce qui a entraîné des erreurs lors des recherches d’authentification. »

Le service Google User ID possède un identifiant unique pour chaque compte Google. Il gère les informations d’authentification pour les jetons et cookies OAuth qui sont utilisés pour connecter des personnes à un service sans entrer leur mot de passe à chaque fois. Ces données sont stockées sur une base de données cloud distribuée qui utilise le protocole Paxos pour coordonner les mises à jour une fois qu’il décide des valeurs de données à traiter.

« Pour des raisons de sécurité, ce service rejettera les demandes lorsqu’il détectera des données obsolètes », a déclaré Google. «Une période de grâce existante sur l’application des restrictions de quota a retardé l’impact, qui a finalement expiré, déclenchant des systèmes de quotas automatisés pour réduire le quota autorisé pour le service User ID et déclenchant cet incident. Des contrôles de sécurité existants existent pour empêcher de nombreux changements de quota involontaires, mais à l’époque, ils ne couvraient pas le scénario de zéro charge signalée pour un service unique.

Le rapport de Google a également couvert l’impact de la panne sur ses services de support Google Cloud Storage, Google Cloud Network, Google Kubernetes Engine, Google Workspace (anciennement G Suite) et Google Cloud. Il a déclaré que « toutes les applications Google Workspace authentifiées étaient en panne pendant la durée de l’incident. » En outre, environ 4% des demandes adressées à l’API du plan de contrôle GKE ont échoué et presque toutes les charges de travail gérées par les clients et par Google n’ont pas été en mesure de signaler les métriques à Cloud Monitoring.

Le rapport de Google a conclu que la majorité de ses services authentifiés sur Google Cloud et Google Workspace affichaient un «taux d’erreur élevé» et que tous ses services qui obligeaient les utilisateurs à se connecter avec un compte Google étaient «affectés avec un impact variable».

Image: Google