Cloudflare з 15 вересня 2026 року за замовчуванням блокуватиме «змішані» вебкраулери на сайтах із рекламою, якщо власники ресурсів не змінять налаштування. Рішення, що стосуватиметься нових клієнтів, нових сайтів чинних клієнтів і всіх безплатних акаунтів, може обмежити доступ AI-компаній до контенту для навчання моделей та агентських сервісів. Водночас Cloudflare просуває модель, за якої видавці зможуть захищати інтелектуальну власність, зменшувати витрати на трафік і отримувати оплату за використання контенту.

Cloudflare змусить ШІ-компанії платити за контент видавців

Нові правила для ботів

Cloudflare готує жорсткіші правила для компаній, які використовують вебкраулери для штучного інтелекту. З 15 вересня 2026 року сервіс за замовчуванням блокуватиме «змішаних» ботів на сайтах із рекламою, якщо вони одночасно сканують сторінки для пошуку, ШІ-агентів і навчання моделей.

Ці налаштування автоматично діятимуть для нових клієнтів Cloudflare, нових сайтів чинних клієнтів і всіх користувачів безплатного тарифу. Власники сайтів зможуть змінити параметри вручну, але базовий режим стане значно менш вигідним для ШІ-компаній, які раніше отримували контент без окремого дозволу.

У чому проблема для видавців

Більшість медіа й сайтів хочуть залишатися видимими в пошуку, адже це дає аудиторію та рекламні доходи. Водночас вони не хочуть безкоштовно віддавати тексти, зображення й інші матеріали для навчання ШІ або роботи агентських сервісів.

Cloudflare фактично вказує на дисбаланс: великі пошукові платформи мають ширший доступ до вебконтенту, бо власникам сайтів складно відмовитися від сканування, не втративши присутність у пошуку. Google заперечує таке узагальнення й нагадує про Google Extended — інструмент, який дозволяє заборонити використання контенту для Gemini та Vertex API без впливу на пошукову видачу. Водночас основний Googlebot сканує сторінки і для пошуку, і для функцій на кшталт AI Overviews.

Економіка доступу до контенту

Cloudflare просуває модель, у якій видавці отримують гроші не лише за саме сканування, а й за використання їхнього контенту, коли він створює цінність у ШІ-сервісах. Проєкт Pay Per Crawl розвивається в Pay Per Use.

Першими партнерами стали Ceramic.ai та You.com: видавець отримує оплату, коли його матеріали з’являються в результатах Ceramic.ai або коли You.com звертається до преміумконтенту.

Для ринку це може означати нову економіку інтернету: ШІ-компаніям доведеться прозоріше пояснювати мету сканування, а видавці отримають шанс монетизувати контент, який раніше часто забирався без прямої компенсації.