Les robots d'indexation ont parfois une couverture supérieure à celle de Google Search

Les AI crawlers sont des bots, c'est-à-dire des programmes automatisés. Semblables à une araignée, ils se déplacent sur l'internet pour collecter des informations. (Source de l'image : ChatGPT / OpenAI)

Les robots des entreprises spécialisées dans l'intelligence artificielle parcourent désormais une grande partie de l'internet et, dans certains cas, sont plus actifs que les robots des moteurs de recherche traditionnels de Google et d'autres sociétés. C'est ce qui ressort d'une étude récente réalisée par le fournisseur d'hébergement web Hostinger.

Bernhard Rotter (traduit par Ninh Duy), Publié 10/18/2025 🇺🇸 🇩🇪 ...

AI Business

Depuis des décennies, Google est le leader incontesté de la collecte d'informations sur l'internet et constitue sans doute l'exemple le plus marquant d'un robot d'exploration de sites web. Ces programmes automatisés parcourent l'internet et enregistrent le contenu qu'ils trouvent, ce qui permet aux moteurs de recherche de rendre les sites web accessibles. C'est pourquoi des entreprises spécialisées dans l'IA, telles qu'OpenAI, déploient leurs propres robots pour rechercher des informations sur l'internet.

Fin août 2025, le fournisseur d'hébergement web Hostinger a réalisé une étude sur l'accessibilité de 5 millions de sites web aux robots d'indexation. Il est particulièrement frappant de constater que, par exemple, le robot GPT d'OpenAI a atteint 4,4 des 5 millions de sites web, atteignant ainsi une plus grande couverture que le robot de Google, qui n'a accédé "qu'à" 3,9 millions de sites web. Des robots moins connus, tels que le robot SEO d'Ahrefs, le robot Claude d'Anthropic et les robots de Meta, TikTok, Bing et Apple ont également été très actifs, générant un total combiné d'environ 1,4 milliard de requêtes quotidiennes pour les 5 millions de sites web.

Le fait que certains robots atteignent un pourcentage de couverture plus faible que d'autres ne signifie pas qu'ils ignorent certaines parties de l'internet. Au contraire, les programmes effectuent une rotation de leurs cibles et créent ainsi une carte presque complète de l'internet sur une période plus longue (mais toujours en l'espace de quelques semaines).

L'étude montre également qu'environ 80 % des requêtes proviennent d'entreprises technologiques américaines, environ 10 % de Chine, les autres pays ne représentant qu'une proportion négligeable. Cela signifie que l'indexation de l'internet est principalement dominée par des fournisseurs américains et, à l'intérieur de ce pays, par quelques grandes entreprises technologiques. En conséquence, un petit nombre de plateformes ont une influence majeure sur le contenu visible et les réponses que les systèmes d'intelligence artificielle génèrent.