Shoal Research: на долю ботов приходится около 60% HTML-запросов

Исследовательская организация Shoal Research опубликовала отчет, в котором говорится, что на долю ботов приходится около 60% HTTP-запросов HTML-контента в сети Cloudflare, в то время как на долю людей — 38,2%. Генеральный директор Cloudflare Мэтью Принс ранее прогнозировал, что к 2027 году трафик ботов превысит человеческий, а позже объявил, что рост трафика агентов уже привел к тому, что боты превысили человеческий трафик. В отчете говорится, что AI-приложения удерживают пользователей в чат-интерфейсах и обобщают контент, а не перенаправляют их обратно на исходный сайт. У AI-краулеров коэффициент сканирования к возврату гораздо выше, чем у Googlebot: за последний год ClaudeBot в среднем сканировал около 4200 страниц на одно возвращение. Исследование Pew показывает, что AI-сводки снизили рейтинг кликов с 15% до 8%. Модель трафика robots.txt и обмена контентом трудно поддерживать. Судебные разбирательства и частные разрешения — это временные меры. Оплата за запрос делится на закрытый рынок с ключами и открытые протоколы, использующие HTTP 402 и стейблкоины, такие как x402 и MPP. Большинство веб-сайтов по-прежнему предлагают бесплатный доступ или блокируют его.