Twitter étend son utilisation de Google Cloud, déplaçant une plus grande partie de son infrastructure informatique de ses propres centres de données vers la plate-forme cloud et utilisant davantage d’outils de données de Google pour permettre à davantage de son personnel d’innover.
Google a annoncé que les deux hommes portaient leur relation de quelques années à un nouveau niveau jeudi.
« Alors que Twitter continue de se développer, nous sommes ravis de nous associer à Google pour une innovation technologique de pointe dans le domaine des données et de l’apprentissage automatique », a déclaré le directeur technique de Twitter Parag Agrawal dans un communiqué.
Twitter est l’une des applications les plus importantes de l’approche multi-cloud hybride de l’infrastructure technique qui gagne en popularité. Il conserve une partie de son infrastructure sur site, tout en utilisant différents fournisseurs de cloud pour leurs capacités spécifiques dont il peut bénéficier le plus.
L’année dernière, le réseau social signé un accord cloud avec AWS pour utiliser l’infrastructure cloud d’Amazon pour servir ses délais aux utilisateurs du monde entier. Le but de cet accord était d’améliorer les performances des utilisateurs en diffusant les délais à partir des centres de données. plus proche de l’endroit où vivent plus de gens, A déclaré Agrawal à l’époque.
Dans le dernier accord Google Cloud, Twitter déplacera ses «charges de travail d’analyse, de traitement des données et d’apprentissage automatique hors ligne» vers le cloud de Google. Il adoptera les outils de données de Google, notamment BigQuery, Dataflow, Cloud Bigtable et les outils d’apprentissage automatique (l’annonce n’a pas précisé lesquels).
Le but est de donner aux employés de Twitter qui ne sont pas des spécialistes des données ou des ingénieurs la possibilité d’interroger son vaste trésor de données à l’aide de SQL. Ces choses ont traditionnellement été effectuées par du personnel technique qui a développé de gros travaux de traitement personnalisés, a déclaré la société.
Les ingénieurs de Twitter ont envisagé de déplacer toute son infrastructure vers le cloud il y a environ cinq ans et ont décidé qu’une telle décision serait trop perturbatrice. Ils se sont donc mis d’accord sur une approche plus ciblée, ne déplaçant que les parties qui bénéficieraient le plus des capacités du cloud.
Dans un accord annoncé en 2018, Twitter déplacé deux des quatre types de Clusters Hadoop qu’il exploite à Google Cloud: des clusters de stockage frigorifique et des clusters «ad-hoc», qui exécutent occasionnellement des tâches d’analyse ponctuelles, a écrit Joep Rottinghuis, directeur de l’ingénierie chez Twitter, dans un article de blog.
À présent, Twitter déplace une troisième catégorie de clusters Hadoop, ses «clusters de traitement», qui exécutent des tâches de production planifiées régulièrement et ont une capacité dédiée.
Cela ne laisse que la quatrième catégorie de clusters Hadoop de Twitter en cours d’exécution dans l’entreprise (effectivement loué) centres de données. Ce sont des «clusters en temps réel», qui sont le premier point d’arrivée des données générées par les utilisateurs lorsqu’ils tweetent, re-tweetent, commentent, aiment, se partagent et se bloquent mutuellement.
