Cloudflare изменит правила для ИИ-ботов 15 сентября. Под блокировку может попасть Googlebot

15 сентября Cloudflare начнёт применять новые правила управления ИИ-ботами. В объявлении компании автоматический трафик разделён на три назначения: Search для поиска, Agent для действий по поручению пользователя и Training для обучения моделей.

Разделение выглядит понятным, пока один робот выполняет одну работу. Сложность появляется у Googlebot, Applebot и Bingbot: Cloudflare относит их к многоцелевым роботам и применяет самое строгое из выбранных владельцем сайта правил.

В результате запрет использования материалов для обучения может закрыть этому же роботу доступ для поискового сканирования. Это не всеобщая блокировка, но условие достаточно серьёзное, чтобы проверить настройки до даты изменения.

Для новых доменов Cloudflare с рекламой на страницах категории Training и Agent будут запрещены по умолчанию, а Search останется разрешённой. Владельцы существующих ресурсов могут выбрать собственную комбинацию в разделе безопасности.

Прежний переключатель Block AI bots при этом выводится из употребления. Документация Cloudflare предлагает перейти к отдельным правилам по назначению трафика.

Владелец сайта может хотеть двух разных вещей: разрешить индексацию страниц в обычном поиске и запретить их использование для обучения. Если обе функции приходят с одним идентификатором робота, сетевой фильтр не всегда способен пропустить только нужную часть.

Cloudflare выбрала осторожное правило: при конфликте действует запрет. Оно защищает заявленное ограничение владельца, но переносит на него риск потерять полезное сканирование вместе с нежелательным.

TechRadar Pro описал риск для издателей: закрытый Googlebot перестаёт обнаруживать и обновлять страницы, что со временем способно повлиять на поисковую видимость.

Однако утверждать, что все сайты Cloudflare потеряют индексацию, неверно. Значение имеют дата подключения домена, наличие рекламы, прежний режим Block AI bots и явный выбор владельца. Проверять нужно итоговое правило конкретной зоны, а не только название переключателя.

До изменения полезно записать текущие настройки, проверить категории многоцелевых роботов и убедиться, что требуемый поисковый доступ разрешён. После даты запуска журналы Cloudflare и статистика сканирования в Search Console покажут, продолжает ли Googlebot получать страницы.

Этот случай делает выбор владельца сайта точнее, но не проще. Пока поисковые компании используют одного робота для нескольких назначений, решение «не обучать на моих материалах» может иметь побочный эффект для обычного поиска. 15 сентября станет проверкой не только новой панели Cloudflare, но и прозрачности самих роботов.