Shoal Research: Los robots representan aproximadamente el 60% de las solicitudes HTML

La institución de investigación Shoal Research publicó un informe que afirma que los bots representan alrededor del 60% de las solicitudes HTTP de contenido HTML en la red de Cloudflare, mientras que los humanos representan el 38,2%. El CEO de Cloudflare, Matthew Prince, predijo anteriormente que el tráfico de bots superaría al tráfico humano para 2027, y luego anunció que el crecimiento del tráfico de agentes ya ha provocado que los bots superen a los humanos. El informe afirma que las aplicaciones de IA mantienen a los usuarios en interfaces de chat y resumen el contenido, en lugar de redirigirlos de vuelta al sitio original. Los rastreadores de IA tienen una relación de rastreo a retorno mucho más alta que Googlebot, con ClaudeBot promediando alrededor de 4.200 páginas rastreadas por visita de retorno en el último año. La investigación de Pew muestra que los resúmenes de IA han reducido las tasas de clics del 15% al 8%. El modelo de tráfico de intercambio de contenido y robots.txt es difícil de mantener. El litigio y la autorización privada son medidas provisionales. El pago por solicitud se divide en un mercado cerrado con claves y protocolos abiertos que utilizan HTTP 402 y monedas estables como x402 y MPP. La mayoría de los sitios web todavía ofrecen acceso gratuito o lo bloquean.