Récemment, Google a annoncé la disponibilité générale des requêtes fédérées Bigtable avec BigQuery permettant aux clients d’interroger plus rapidement les données résidant dans Bigtable via BigQuery. De plus, l’interrogation se fait sans déplacement ni copie des données dans toutes les régions Google Cloud avec des limites d’accès concurrentiel de requête fédérées accrues, comblant ainsi l’écart de longue date entre les données opérationnelles et les analyses, selon la société.
BigQuery est l’entrepôt de données multi-cloud sans serveur de Google Cloud qui simplifie l’analyse en rassemblant des données provenant de diverses sources – et Cloud Bigtable est la base de données NoSQL entièrement gérée de Google Cloud pour les charges de travail transactionnelles et analytiques urgentes. Ce dernier convient à plusieurs cas d’utilisation tels que la détection de fraude en temps réel, les recommandations, la personnalisation et les séries chronologiques.
Auparavant, les clients devaient utiliser des outils ETL tels que Flux de données ou des outils Python auto-développés pour copier des données de Bigtable dans BigQuery; cependant, maintenant, ils peuvent interroger les données directement avec BigQuery SQL. Les requêtes fédérées BigQuery peuvent accéder aux données stockées dans Bigtable.
Pour interroger les données Bigtable, les utilisateurs peuvent créer une table externe pour une source de données Cloud Bigtable en fournissant l’URI Cloud Bigtable, qui peut être obtenu via la console Cloud Bigtable. L’URI contient les éléments suivants :
- project_id est le projet contenant l’instance Cloud Bigtable
- instance_id est l’ID d’instance Cloud Bigtable
- (Facultatif) app_profile est l’ID de profil d’application à utiliser
- table_name est le nom de la table à interroger
Une fois la table externe créée, les utilisateurs peuvent interroger Bigtable comme n’importe quelle autre table dans BigQuery. En outre, les utilisateurs peuvent également tirer parti des fonctionnalités de BigQuery telles que les pilotes et connecteurs JDBC/ODBC pour les outils populaires de Business Intelligence et de visualisation de données tels que Data Studio, Looker et Tableau, en plus des tables AutoML pour la formation des modèles d’apprentissage automatique et du connecteur Spark de BigQuery pour charger des données dans leurs environnements de développement de modèles.
Un passionné de big data Christian Laurer explique dans un article moyen l’avantage de la nouvelle approche avec les requêtes fédérées de Bigtable :
En utilisant la nouvelle approche, vous pouvez surmonter certaines lacunes de l’approche ETL traditionnelle. Comme:
• Plus de fraîcheur des données (informations à jour pour votre entreprise, pas de données anciennes d’heures ou même de jours)
• Ne pas payer deux fois pour le stockage des mêmes données (les clients stockent normalement des téraoctets ou même plus dans Bigtable)
• Moins de surveillance et de maintenance du pipeline ETL
Enfin, plus de détails sur les requêtes fédérées de Bigtable avec BigQuery sont disponibles sur le page de documentation. En outre, l’interrogation des données dans Cloud Bigtable est disponible dans tous les Cloud Bigtable pris en charge. les zones.
