(papillon vert/Shutterstock)

Lorsque T-Mobile a commencé à migrer une partie de son patrimoine de données d’un système Hadoop sur site vers des plates-formes de données basées sur le cloud, cette décision a été libératrice. Mais à mesure qu’elle s’installait dans un monde de cloud hybride, T-Mobile s’est rendu compte que les coûts devenaient incontrôlables. C’est à ce moment-là qu’il a fait appel à un fournisseur d’observabilité des données Accédé pour mieux maîtriser ses données.

Comme de nombreuses grandes entreprises, T-Mobile s’est appuyée sur un entrepôt de données traditionnel pour faire apparaître des informations critiques afin d’éclairer les décisions commerciales. Mais lorsque le boom du Big Data a commencé il y a une dizaine d’années, l’entreprise s’est rendu compte que les bases de données relationnelles ne pouvaient plus évoluer pour répondre à ses besoins de stockage et de traitement des données.

Vers 2015, T-Mobile a adopté le Apache Hadoop plate-forme. Le géant des télécommunications a découvert que son cluster Hortonworks Data Platform (HDP) sur site ouvrait de nouveaux horizons en termes de taille des données d’événements réseau qu’il pouvait collecter, stocker et traiter, selon Vikas Ranjan, directeur principal des données et de l’analyse. ingénierie chez T-Mobile.

« Hadoop a définitivement changé la donne en ce qui concerne la façon dont les gens ont pu libérer la possibilité d’ensembles de données volumineux, d’ensembles de données d’une grande complexité et de traitement de données distribué », explique Ranjan. « Passer de 2 To de données par jour à plus de 1 Po de données par jour en traitement est devenu une réalité pour nous. »

Les premiers jours de l’expérience Hadoop de T-Mobile se sont très bien déroulés, explique Ranjan. L’entreprise a adopté des frameworks puissants comme Apache Spark et Apache Hive pour traiter les données d’événements réseau. Les données de l’événement sont arrivées dans des formats propriétaires de type fichier plat, et T-Mobile les a transmises au format Parquet standard de l’industrie.

(Timofeev Vladimir/Shutterstock)

Mais les défis liés au Big Data qui ont poussé T-Mobile dans les bras de Hadoop ont refusé de disparaître. Avec la croissance du trafic Web et l’avènement de nouvelles technologies comme la 5G et la réalité virtuelle, les données n’ont cessé de croître, avec une plus grande variabilité. La gestion du cluster Hadoop au milieu de cette croissance est devenue un défi en soi, explique Ranjan.

« Alors que nous commencions à faire beaucoup plus d’analyses et à moderniser les choses sur Hadoop, nous avons rencontré des problèmes d’évolutivité », dit-il. « Vers 2019, nous avons constaté un tournant dans ce que Hadoop pouvait faire avec certaines limitations et certaines lacunes, ainsi que vers la destination des données en termes d’échelle. »

T-Mobile devait traiter un grand nombre de très petits fichiers, de l’ordre de un à deux mille milliards d’événements réseau par jour. Cependant, HDFS n’est pas très efficace pour gérer un grand nombre de petits fichiers, car cela entraîne des problèmes de nœuds de noms et d’utilisation de la mémoire qui ralentissent les performances.

Un autre problème était l’apprentissage automatique et l’IA. Bien que les lacs de données Hadoop soient efficaces pour le traitement et l’analyse des données, ils ne constituent pas les meilleures plates-formes pour exécuter l’apprentissage automatique et l’IA, explique Ranjan.

« Hadoop fonctionnait pour nous, mais il ne nous offrait pas les capacités d’analyse avancées, ni les capacités d’apprentissage automatique », dit-il. « Hadoop est meilleur pour les lacs de données et le traitement des données, mais pas aussi bon pour de nombreux cas d’utilisation. »

Ainsi, en 2019, T-Mobile a commencé à explorer comment améliorer son approche en matière de données. La création de données a continué de croître de façon exponentielle grâce à la 5G et au métaverse, mais les problèmes d’évolutivité des données de Hadoop l’ont amené à manquer les SLA en termes de rendre les données accessibles.

« La monnaie la plus importante est le temps », explique Ranjan. « Nous n’avons pas la patience de faire les choses dans quatre heures, ou dans 12 heures ou dans 24 heures. Vous voulez résoudre les problèmes au fur et à mesure qu’ils surviennent.

T-Mobile a fini par adopter une approche en deux volets pour moderniser sa plateforme de données. Une branche est restée sur site, tandis qu’une autre branche a conduit au cloud.

Pour les données d’événements réseau les plus critiques de T-Mobile, qui résidaient sur son cluster HDP de 40 Po, la société a construit un système de traitement de données en mémoire personnalisé basé sur Java qui s’exécute sur Kubernetes. Ce système fonctionne sur site à côté de son cluster Hadoop, que T-Mobile continue d’exécuter pour la persistance des données et certaines charges de travail Spark et Hive.

(Maha Heang 245789/Shutterstock)

T-Mobile a également commencé son parcours vers le cloud, vers 2021. Selon Ranjan, la société souhaitait avoir la flexibilité nécessaire pour fonctionner sur toutes les principales plates-formes cloud, y compris AWS, Microsoft Azure, GCP, Briques de donnéeset Flocon de neige. Tout comme le passage d’un entrepôt de données traditionnel à Hadoop, le passage de Hadoop au cloud a été révélateur.

« Lorsque nous nous sommes lancés dans le monde du cloud, nous avons immédiatement constaté les avantages du cloud en termes d’élasticité et d’agilité », explique Ranjan. « Il y avait des choses que nous ne pouvions pas faire dans notre système Hadoop sur site pendant des mois. En quelques jours, nous avons pu innover. Nous avons pu imaginer, proposer de nouveaux cas d’utilisation, intégrer de nouveaux utilisateurs, en leur donnant l’art des possibilités en termes d’IA et de ML qui n’étaient pas disponibles dans Hadoop traditionnel lorsque nous travaillions dans notre voyage dans le passé.

Mais, hélas, le nuage s’est avéré n’être pas le pays du lait et du miel. Même si T-Mobile a accru son agilité dans le cloud et a eu accès à une multitude de nouveaux outils de ML et d’IA, cela a eu un coût.

« Le cloud fonctionne vraiment très bien. Mais nous n’avons pas un budget infini », explique Ranjan. « Nous avons désormais des budgets très limités. Nous voulons être très rentables, et la façon dont l’ensemble du cloud est [billed] apporte des défis très complexes en termes de gestion des coûts.

Comme mentionné précédemment, le parcours des données de T-Mobile ne s’est pas éloigné de Hadoop, qui reste une couche de persistance des données critique pour les données réseau les plus importantes de l’entreprise aux États-Unis. L’entreprise avait besoin de mieux maîtriser ses coûts, à la fois avec son lac de données sur site et ses nouveaux référentiels cloud. C’est là qu’intervient Acceldata.

« Acceldata nous aide avec l’observabilité globale », explique Ranjan. « Acceldata nous a aidé à optimiser les coûts sur le cloud [and] Hadoop sur site. Je pense qu’il y avait beaucoup de gaspillage des données que nous stockions. Nous disposons de plusieurs pétaoctets de données qui n’ont pas été consultés. Et puis tout le réglage de Hadoop a été très, très compliqué et complexe car il s’agit d’une plate-forme à grande échelle.

Ce qui a attiré T-Mobile vers Acceldata en premier lieu, c’est sa prise en charge de Hadoop, une plate-forme que les autres fournisseurs d’observabilité des données ne prennent pas en charge. Selon Ranjan, l’entreprise appréciait Acceldata car elle pouvait fournir une interface unique pour tous ses parcs de données, à la fois sur les plateformes de données Hadoop prem et cloud.

« Notre [proof of concept] était autour de Hadoop, et à partir de là, nous avons en quelque sorte commencé à voir cette valeur et à nous développer », explique Ranjan.

Bien qu’il ne soit pas encore entré en production avec Acceldata pour sa mise en œuvre Databricks, le premier POC semble prometteur, dit-il.

« Ce que j’aime vraiment, c’est que nous obtenions un seul volet de vue pour obtenir le coût de tous vos espaces de travail, ventilé par utilisateur, ventilé par charges de travail, pour toutes les différentes implémentations Databricks que nous avons et le cluster » il dit. « Il vous donne tout au même endroit, vous n’avez donc pas besoin de courir après. Vous n’êtes pas obligé d’aller dans des endroits différents. Vous n’êtes pas obligé de créer vos tableaux de bord personnalisés. Tout est au même endroit. »

En fin de compte, Acceldata a permis à T-Mobile d’optimiser sa plate-forme Hadoop, améliorant ainsi la gérabilité et lui permettant de respecter à nouveau ses SLA. Étant donné que le rythme de la création de données et de l’innovation ne montre aucun signe de ralentissement, disposer d’un outil comme Acceldata rapportera probablement des dividendes à T-Mobile à l’avenir.

Articles connexes:

La plateforme d’observabilité Acceldata devient open source

Comment T-Mobile a obtenu plus de Hadoop

Le déluge de données 5G a été plus petit que prévu

->Google Actualités