Инфраструктура и поиск

Cloudflare изменит правила для ИИ-ботов 15 сентября. Под блокировку может попасть Googlebot

Новые настройки дают владельцу сайта больше контроля над использованием материалов, но у многоцелевых роботов действует самое строгое выбранное ограничение. Поэтому запрет обучения способен одновременно закрыть поисковое сканирование.