Note de l’éditeur: le contenu professionnel du New York Times sera désormais inclus dans votre abonnement à Finance & Commerce. Pas abonné? Commencez votre abonnement ici.

OAKLAND, Californie – En 2000, deux ans seulement après sa création, Google a franchi une étape importante qui jetterait les bases de sa domination au cours des 20 prochaines années: il est devenu le plus grand moteur de recherche au monde, avec un indice de plus d’un milliard les pages Web.

Le reste d’Internet n’a jamais rattrapé son retard et l’index de Google n’a cessé de s’agrandir. Aujourd’hui, il se situe entre 500 milliards et 600 milliards de pages Web, selon les estimations.

Maintenant, alors que les régulateurs du monde entier examinent les moyens de réduire le pouvoir de Google, y compris une affaire de monopole de recherche attendue des procureurs généraux des États dès cette semaine et le procès antitrust que le ministère de la Justice a déposé en octobre, ils se débattent avec une entreprise dont la taille a lui a permis d’écraser les concurrents. Et ces concurrents pointent les enquêteurs vers cet énorme indice, le centre de gravité de l’entreprise.

«Si les gens utilisent un moteur de recherche avec un index plus petit, ils n’obtiendront pas toujours les résultats qu’ils souhaitent. Et puis ils vont sur Google et restent chez Google », a déclaré Matt Wells, qui a lancé Gigablast, un moteur de recherche avec un index d’environ 5 milliards de pages Web, il y a environ 20 ans. «Un petit gars comme moi ne peut pas rivaliser.»

Comprendre le fonctionnement de la recherche de Google est essentiel pour comprendre pourquoi tant d’entreprises trouvent qu’il est presque impossible de concurrencer et, en fait, font tout leur possible pour répondre à ses besoins.

Chaque demande de recherche fournit à Google plus de données pour rendre son algorithme de recherche plus intelligent. Google a effectué tellement plus de recherches que tout autre moteur de recherche qu’il a établi un énorme avantage sur ses concurrents pour comprendre ce que les consommateurs recherchent. Cette avance ne fait que s’élargir, puisque Google détient une part de marché d’environ 90%.

Google dirige des milliards d’utilisateurs vers des emplacements sur Internet, et les sites Web, avides de ce trafic, créent un ensemble de règles différent pour l’entreprise. Les sites Web fournissent souvent un accès plus large et plus fréquent aux soi-disant robots d’exploration de Google – des ordinateurs qui parcourent automatiquement Internet et analysent les pages Web – permettant à l’entreprise de proposer un index plus complet et à jour de ce qui est disponible sur Internet.

Lorsqu’il travaillait sur le site de musique Bandcamp, Zack Maril, un ingénieur en logiciel, s’est inquiété de la façon dont la domination de Google l’avait rendu si essentiel pour les sites Web.

En 2018, lorsque Google a déclaré que son robot d’exploration, Googlebot, avait des problèmes avec l’une des pages de Bandcamp, Maril a fait de la résolution du problème une priorité car Google était essentiel au trafic du site. Lorsque d’autres robots rencontraient des problèmes, Bandcamp les bloquait généralement.

Maril a continué à rechercher les différentes façons dont les sites Web ouvraient des portes à Google et les fermaient à d’autres. L’année dernière, il a envoyé un rapport de 20 pages, «Comprendre Google», à un sous-comité antitrust de la Chambre, puis a rencontré des enquêteurs pour expliquer pourquoi d’autres entreprises ne pouvaient pas recréer l’index de Google.

«C’est en grande partie une source d’énergie incontrôlée pour son monopole», a déclaré Maril, 29 ans, qui travaille dans une autre entreprise technologique qui n’est pas en concurrence directe avec Google. Il a demandé au New York Times de ne pas identifier son employeur puisqu’il ne parlait pas en sa faveur.

Un rapport publié cette année par le sous-comité de la Chambre a cité les recherches de Maril sur les efforts de Google pour créer une carte en temps réel d’Internet et comment cela avait «verrouillé sa domination». Alors que le ministère de la Justice cherche à dénouer les accords commerciaux de Google qui placent son moteur de recherche au premier plan sur des milliards de smartphones et d’ordinateurs, Maril exhorte le gouvernement à intervenir et à réglementer l’index de Google. Un porte-parole de Google a refusé de commenter.

Les sites Web et les moteurs de recherche sont symbiotiques. Les sites Web dépendent des moteurs de recherche pour le trafic, tandis que les moteurs de recherche ont besoin d’un accès pour explorer les sites afin de fournir des résultats pertinents aux utilisateurs. Mais chaque robot d’exploration met à rude épreuve les ressources d’un site Web en termes de coûts de serveur et de bande passante, et certains robots d’exploration agressifs ressemblent à des risques de sécurité qui peuvent détruire un site.

Étant donné que l’exploration de leurs pages coûte de l’argent, les sites Web sont incités à ne le faire que par les moteurs de recherche qui dirigent suffisamment de trafic vers eux. Dans le monde actuel de la recherche, cela laisse Google et – dans certains cas – Bing de Microsoft.

Google et Microsoft sont les seuls moteurs de recherche qui dépensent des centaines de millions de dollars par an pour maintenir une carte en temps réel de l’Internet en anglais. Cela s’ajoute aux milliards qu’ils ont dépensés au fil des ans pour construire leurs indices, selon un rapport cet été de la Competition and Markets Authority britannique.

Google détient une longueur d’avance sur Microsoft en plus de parts de marché. Les autorités britanniques de la concurrence ont déclaré que l’indice de Google comprenait entre 500 et 600 milliards de pages Web, contre 100 à 200 milliards pour Microsoft.

D’autres grandes entreprises technologiques déploient des robots d’exploration à d’autres fins. Facebook dispose d’un robot d’exploration pour les liens qui apparaissent sur son site ou ses services. Amazon affirme que son robot d’exploration aide à améliorer son assistant vocal, Alexa. Apple a son propre robot d’exploration, Applebot, qui a alimenté les spéculations selon lesquelles il pourrait chercher à créer son propre moteur de recherche.

Mais l’indexation a toujours été un défi pour les entreprises sans poches profondes. Le moteur de recherche DuckDuckGo, soucieux de la confidentialité, a décidé d’arrêter d’explorer l’ensemble du Web il y a plus de dix ans et regroupe désormais les résultats de Microsoft. Il explore toujours des sites comme Wikipédia pour fournir des résultats pour les boîtes de réponse qui apparaissent dans ses résultats, mais la gestion de son propre index n’a généralement pas de sens financier pour l’entreprise.

«Cela coûte plus cher que ce que nous pouvons nous permettre», a déclaré Gabriel Weinberg, directeur général de DuckDuckGo. Dans une déclaration écrite pour le sous-comité antitrust de la Chambre l’année dernière, la société a déclaré qu ‘«un démarrage de moteur de recherche en herbe aujourd’hui (et dans un avenir prévisible) ne peut pas éviter le besoin» de se tourner vers Microsoft ou Google pour ses résultats de recherche.

En Europe, un groupe appelé Open Search Foundation a proposé un plan visant à créer un index Internet commun pouvant étayer de nombreux moteurs de recherche européens. Il est essentiel d’avoir une diversité d’options pour les résultats de recherche, a déclaré Stefan Voigt, président et fondateur du groupe, car il n’est pas bon pour seulement une poignée d’entreprises de déterminer quels liens les gens sont affichés et non affichés.

«Nous ne pouvons tout simplement pas laisser cela à une ou deux entreprises», a déclaré Voigt.