Cloudflare с 15 сентября 2026 года по умолчанию будет блокировать «смешанных» вебкраулеров на сайтах с рекламой, если владельцы ресурсов не изменят настройки. Решение, которое коснется новых клиентов, новых сайтов действующих клиентов и всех бесплатных аккаунтов, может ограничить доступ AI-компаний к контенту для обучения моделей и агентских сервисов. В то же время Cloudflare продвигает модель, по которой издатели смогут защищать интеллектуальную собственность, снижать расходы на трафик и получать оплату за использование контента.

Cloudflare заставит ИИ-компании платить за контент издателей

Новые правила для ботов

Cloudflare готовит более строгие правила для компаний, использующих вебкраулеры для искусственного интеллекта. С 15 сентября 2026 года сервис по умолчанию будет блокировать «смешанных» ботов на сайтах с рекламой, если они одновременно сканируют страницы для поиска, ИИ-агентов и обучения моделей.

Эти настройки автоматически будут действовать для новых клиентов Cloudflare, новых сайтов действующих клиентов и всех пользователей бесплатного тарифа. Владельцы сайтов смогут изменять параметры вручную, но базовый режим станет значительно менее выгодным для ИИ-компаний, которые ранее получали контент без отдельного разрешения.

В чем проблема для издателей

Большинство медиа и сайтов хотят оставаться видимыми в поиске, так как это дает аудиторию и рекламные доходы. Вместе с тем они не хотят бесплатно отдавать тексты, изображения и другие материалы для обучения ИИ или работы агентских сервисов.

Cloudflare фактически указывает на дисбаланс: крупные поисковые платформы имеют более широкий доступ к веб-контенту, потому что владельцам сайтов сложно отказаться от сканирования, не потеряв присутствие в поиске. Google опровергает такое обобщение и напоминает о Google Extended — инструменте, который позволяет запретить использование контента для Gemini и Vertex API без влияния на поисковую выдачу. В то же время основной Googlebot сканирует страницы и для поиска, и для функций наподобие AI Overviews.

Экономика доступа к контенту

Cloudflare продвигает модель, в которой издатели получают деньги не только за само сканирование, но и за использование их контента, когда он создает ценность в ИИ-сервисах. Проект Pay Per Crawl развивается в Pay Per Use.

Первым партнерами стали Ceramic.ai и You.com: издатель получает оплату, когда его материалы появляются в результатах Ceramic.ai или когда You.com обращается к премиум-контенту.

Для рынка это может означать новую экономику интернета: ИИ-компаниям придется прозрачнее объяснять цель сканирования, а издатели получат шанс монетизировать контент, который ранее часто забирался без прямой компенсации.