Cloudflare va désormais bloquer les racleurs de sites web qui ne paient pas pour leurs données

En déclarant la "Journée de l'indépendance du contenu", Matthew Prince, PDG de Cloudflare, a annoncé des changements massifs dans l'infrastructure des services web de l'entreprise, qui bloqueront désormais par défaut tous les robots d'exploration du web par l'IA.

Dans un billet de blog https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/matthew Prince a expliqué que le paysage moderne de la recherche sur le web est aujourd'hui de plus en plus défini par des chatbots d'IA tels que Gemini de Google ou ChatGPT d'OpenAI. Bien que ces robots soient utiles, ils raclent librement les données disponibles en ligne sans aucune répercussion et n'indemnisent pas les créateurs d'origine.

M. Prince a fait valoir qu'en raison des récents changements apportés à Google Search, il est aujourd'hui dix fois "plus difficile pour un créateur de contenu d'obtenir le même volume de trafic" qu'il y a dix ans.

au lieu d'être un commerce équitable", a déclaré M. Prince, "le web est en train d'être dépouillé". "Le web est miné par les robots d'indexation de l'IA et les créateurs de contenu ne voient presque pas de trafic et donc presque pas de valeur

M. Prince a déclaré que le contenu récupéré "est le carburant qui alimente les moteurs d'IA" et qu'il n'était que juste que les créateurs originaux soient indemnisés pour cela.

Cloudflare a également annoncé son intention de créer une place de marché qui réunira les créateurs et les entreprises d'IA en un seul endroit. Cette place de marché évaluera le contenu disponible non seulement en fonction du trafic qu'il génère, mais aussi "en fonction de la manière dont il fait progresser la connaissance" M. Prince pense que cela aidera les moteurs d'IA à devenir plus rapides et "facilitera potentiellement un nouvel âge d'or de la création de contenu de grande valeur"

M. Prince a admis qu'il n'avait pas encore toutes les réponses, mais que l'entreprise travaillait avec "d'éminents informaticiens et économistes pour les trouver"

Récemment, SourceHut, un service d'hébergement open-source git ( ), a déclaré qu'il avait connu des perturbations dues à des problèmes de sécuritéa déclaré avoir subi des perturbations dues à des "crawlers LLM agressifs" et a bloqué plusieurs fournisseurs de cloud, dont Google Cloud et Microsoft Azure, en raison de volumes élevés de trafic entrant en provenance de leurs réseaux.

En janvier, DoubleVerify, une plateforme d'analyse web, a fait état d'une augmentation de 86 % du trafic invalide général (General Invalid Traffic, GIV) du trafic invalide général (GIVT) provenant des scrappers d'IA et d'autres outils automatisés en ligne par rapport à 2024.

Malgré des promesses antérieures, le GPTbot d'OpenAI a également trouvé des moyens d'ignorer ou de contourner les robots.txt d'un site le robot.txt d'un site, provoquant une augmentation massive du trafic pour les propriétaires de domaines et des factures onéreuses.