Как защитить сайт от ИИ-скрапинга без ущерба для SEO и GEO

• Что такое ИИ-скрапинг
• Какие последствия ИИ-скрапинга для сайта
• Как проверить наличие ИИ-скрапинга на сайте
• Как уменьшить нагрузку от ИИ-скрапинга
• Возможно ли полностью остановить вредоносный ИИ-скрапинг

Вы следите за интернет-проектом: оптимизируете базы данных, сжимаете изображения, удаляете лишний код. Количество посетителей увеличивается, но вдруг вы замечаете, что сервер начинает выдавать ошибку или получаете письмо от провайдера о превышении лимитов. Хотя сразу хочется обвинить себя в недостаточной оптимизации, причина может быть в слабой защите сайта от ИИ-скрапинга. Пока вы вкладываете максимум усилий в создание контента и технические улучшения, кто-то за секунду крадет ваши материалы, еще и приводит к аномальным нагрузкам. Я проверил это на собственном веб-ресурсе и покажу, как найти таких ботов и ограничить их без вреда для SEO и GEO.

Что такое ИИ-скрапинг

ИИ-скрапинг — это автоматический сбор содержимого сайтов системами искусственного интеллекта. Это могут делать как большие ИИ-компании вроде OpenAI и Anthropic, которые обучают модели, формируют ответы в поиске и открывают страницы по запросу пользователя, так и анонимные скраперы, маскирующиеся под обычный браузер. 

ИИ-скрапинг не стоит путать с классическим парсингом сайтов, который собирает конкретные данные, например, цены конкурента. Вместо этого боты искусственного интеллекта обходят весь веб-ресурс, включая старые статьи и архивы, из-за чего нагружают сервер иначе, чем живые посетители.

Какие последствия ИИ-скрапинга для сайта

Основные последствия ИИ-скрапинга для сайта — перегрузка хостинга, контент без обратного трафика и копии ваших материалов на чужих ресурсах.

Каждое последствие имеет важное значение для интернет-проекта любого размера:

• Нагрузка на хостинг. Человек открывает несколько страниц и читает каждую по несколько минут, а бот за час может просмотреть тысячи адресов, включая старые и технические, которых нет в кэше. Сервер каждый раз запускает PHP и обращается к базе данных, так что сайт замедляется для живых посетителей или вообще перестает открываться.
• Контент без обратного трафика. ИИ-системы забирают тексты значительно чаще, чем приводят читателей. По данным TollBit, европейские издатели получают примерно 179 визитов ИИ-ботов на один переход живого пользователя.
• Копирование контента. Издание The Media Copilot пересказало отчет TollBit, где описано почти 40 сервисов, которые продают услуги скрапинга: многие из них по умолчанию игнорируют robots.txt, а некоторые обходят даже платный доступ. В результате ваш контент оказывается на чужих веб-ресурсах и может ранжироваться там даже лучше.

Вы можете подумать, что вашему небольшому сайту ничего не угрожает, но боты не ищут конкретные веб-ресурсы, а обрабатывают списки адресов. Поисковые боты находят страницы по ссылкам и картам сайта. Common Crawl ежемесячно обходит более 2 миллиардов страниц для открытых архивов, на которых обучают языковые модели. А скраперам хватает публичных журналов SSL-сертификатов, чтобы найти новый домен за несколько минут.

В конце июля 2026 года владелец небольшой вики описал на Medium, как бот meta-webindexer за полтора дня сделал 230 743 запроса к сайту с 4 814 статьями. Старые версии и страницы редактирования превратили несколько тысяч статей в сотни тысяч адресов, 98% запросов шли на запрещенные в robots.txt страницы, а бот забрал 47% исходного трафика, и счет за облачный сервер примерно удвоился.

Как проверить наличие ИИ-скрапинга на сайте

Чтобы проверить ИИ-скрапинг, сопоставьте три источника: график нагрузки в панели хостинга, количество живых посетителей в Google Analytics и журнал запросов к сайту. О ИИ-скрапинге можно говорить, лишь когда пики нагрузки совпадают по времени с сериями запросов конкретных ИИ-ботов.

На скриншоте график нагрузки хостинга одного из проектов на Cityhost (опубликовано с согласия владельца).

Так что сначала найдите пики нагрузки:

1. Откройте панель Cityhost → Хостинг 2.0 → Управление → Ресурсы.
2. Перейдите на вкладку CPU и выберите самый длинный доступный период.
3. Запишите дату и время каждого момента, когда график упирался в лимит.

На моем сайте за неделю процессор несколько раз достигал лимита 100%, хотя средняя нагрузка составляла 40%. Так что после этого сравните такие нагрузки с количеством реальных посетителей на вашем веб-ресурсе за этот же период:

1. Откройте Google Analytics 4 → Исследовать → Свободная форма.
2. Установите период, который охватывает ваши пики.
3. Добавьте параметр «Дата и время (ГГГГММДДЧЧ)» в «Строки», а показатель «Сеансы» — в «Значения».
4. Найдите в таблице часы ваших пиков.

GA4 автоматически исключает известных ботов, а большинство других не выполняют JavaScript, так что счетчик видит только людей. Если нагрузка скачет, а сессий не добавилось, причина в ботах или фоновых процессах сайта. У меня за неделю GA4 насчитал лишь 18 сессий, тогда как сервер получил 32 918 запросов.

Важно! Сверьте часовые пояса: панель хостинга, GA4 и журнал запросов могут показывать время в разных поясах. В моем случае разница между журналом и панелью составила 4 часа.

Затем выясните, кто делает запросы. В Cityhost журнал удобно анализировать инструментом GoAccess, который запускается через Хостинг → Управление → SSH → Web SSH → «Web SSH: Открыть». Пошаговая инструкция есть на странице «Анализ логов доступа с помощью GoAccess».

Нам нужен раздел 6 — Operating Systems. Перейдите к нему, нажав цифру 6 на клавиатуре, а затем нажмите Enter, чтобы открыть данные. Процент запросов от ботов и их названия можно посмотреть в строке «Crowlers». 

На скриншоте GoAccess за 5 октября зафиксировано 3304 запроса к сайту, из которых 596, или 18,04%, попали в категорию «Crawlers». Однако считать все эти обращения активностью ИИ-скраперов нельзя: в видимой части списка нет названий GPTBot, ClaudeBot или PerplexityBot, вместо этого показаны GoogleApp, GoogleMobile, CFNetwork, TwitterBot и facebookexternalhit. Само название категории «Crawlers» не определяет, связано ли обращение со сбором данных для искусственного интеллекта. Отдельного внимания требует «Unknown»: на эту категорию приходится 657 запросов, или 19,88%, но ее название также не позволяет установить их происхождение. Таким образом, этот фрагмент отчета не подтверждает активности ИИ-скраперов и не исключает ее — для вывода нужно проверить полный список User-Agent в логах.

Поиск ИИ-ботов непосредственно в файле логов через это же SSH-окно:

1. Переключите клавиатуру на английскую и нажмите q, чтобы выйти из GoAccess. Это SSH-окно оставьте открытым.
2. Вставьте эту команду и нажмите Enter (вместо MYSITE_NAME подставьте свой домен):

awk -F'"' 'tolower($6) ~ /gptbot|oai-searchbot|chatgpt-user|claudebot|claude-searchbot|claude-user|perplexitybot|perplexity-user|meta-externalagent|meta-externalfetcher|meta-webindexer|bytespider|ccbot|amazonbot/ {print $6}' /var/www/ch50e2c72b/logs/MYSITE_NAME.access.log | sort | uniq -c | sort -nr

В команде мы искали 14 названий ботов и User-Agent:

• OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User.
• Anthropic: ClaudeBot, Claude-SearchBot, Claude-User.
• Perplexity: PerplexityBot, Perplexity-User.
• Meta: meta-externalagent, meta-externalfetcher, meta-webindexer.
• Другие: Bytespider, CCBot, Amazonbot.

Поиск в полных User-Agent дал более точный результат, чем общая категория «Crawlers» в GoAccess: в проверенном файле логов найден только один запрос с названием OAI-SearchBot — поискового бота OpenAI. Других перечисленных ИИ-ботов команда не обнаружила. Таким образом, эти данные не свидетельствуют о массовом сканировании сайта ИИ-скраперами, а долю «Crawlers» в отчете нельзя приравнивать к их активности.

Так что именно проверка наличия ИИ-скрапинга является одним из самых важных этапов. Если у вас такая же ситуация, то вам даже не нужно тратить время на борьбу со скрапингом искусственного интеллекта, а достаточно грамотно оптимизировать сайт.

Как уменьшить нагрузку от ИИ-скрапинга

Уберите лишние фоновые задачи и активируйте кэширование, ограничьте обход добросовестных ботов через robots.txt, а тех, кто не соблюдает правила, замедлите или заблокируйте на уровне сервера, Wordfence или Cloudflare. Полностью защититься от ИИ-скрапинга невозможно, но эти методы помогают хотя бы уменьшить нагрузку на хостинг сайта.

• Уберите лишние фоновые задачи
• Включите кэширование страниц
• Замедлите слишком активных ботов в Wordfence
• Внесите правила против ИИ-скрапинга в robots.txt
• Заблокируйте ботов на уровне сервера
• Включите запрет на обучение в Cloudflare

Уберите лишние фоновые задачи

WordPress запускает фоновые задачи через WP-Cron, который по умолчанию проверяет их при каждой загрузке страницы. Так что каждый запрос бота тоже может запустить очередной цикл задач. На моем сайте такие задачи давали 14% всех запросов: плагин Link Whisper каждые 5 минут проверял битые ссылки, а очередь Action Scheduler запускалась каждую минуту.

Так что рекомендую:

1. Установить плагин WP Crontrol.
2. Открыть Tools → Cron Events.
3. Найти задачи, которые запускаются каждую минуту или каждые несколько минут.
4. В колонке Action по названию функции определить плагин, например Wpil принадлежит Link Whisper.

В результате выберите эти плагины и отключите их, если не пользуетесь, или ограничьте их работу через настройки каждого конкретного расширения.

Включите кэширование страниц

Кэширование сохраняет уже сгенерированную страницу как готовый файл. Когда бот или человек запрашивает ее повторно, сервер не запускает PHP и не обращается к базе данных, а просто отдает файл. На моем сайте для этого работает плагин LiteSpeed Cache.

Против ИИ-ботов кэш работает хуже, чем против людей. Люди, как правило, читают популярные страницы, которые уже есть в кэше, а ИИ-краулеры обходят весь сайт, включая старые статьи, куда давно никто не заходил. Однако они сканируют все страницы, так что те, что уже находятся в кэше, все равно помогут уменьшить нагрузку на виртуальный хостинг лучше, чем вообще отсутствие кэширования на веб-ресурсе.

OPcache — это другой вид кэша, который сохраняет скомпилированный PHP-код, чтобы сервер не перечитывал файлы WordPress при каждом запросе. Он ускоряет генерацию страниц, но не заменяет их кэш, так как PHP и база данных одинаково работают. В Cityhost OPcache подключается в панели управления через Управление → Дополнительные услуги → OPcache. Для сайтов с частыми обращениями к базе данных Cityhost также предлагает Memcached и Redis, которые хранят в памяти результаты запросов к базе.

Читайте также: Сервисы кэширования для сайтов: Memcached, OPCache, Redis

Замедлите слишком активных ботов в Wordfence

Бесплатная версия плагина Wordfence, которой я пользуюсь уже 2 года, умеет ограничивать частоту запросов:

1. Откройте Wordfence → All Options → Firewall Options → Rate Limiting.
2. Проверьте, включено ли Enable Rate Limiting и Advanced Blocking.
3. Установите 240 запросов в минуту для If anyone's requests exceed.
4. Установите 120 для обоих правил page views и 60 для обоих правил 404s.
5. Для каждого правила выберите Throttle it и сохраните изменения.

Это стартовые значения, которые советует поддержка Wordfence. Throttle означает, что бот, который превысил лимит, временно получает ответ 503, пока не уменьшит частоту запросов. Поисковые системы понимают такой ответ, поэтому Wordfence советует выбирать именно это действие. Лимиты для людей тоже важны, так как скраперы, маскирующиеся под браузер, попадают в эту категорию. Также убедитесь, что в How should we treat Google's crawlers выбрано Verified Google crawlers will not be rate-limited.

Важно! Ограничение частоты останавливает резкие всплески, а не медленных сканеров. На моем сайте сканер делал около 10 запросов в минуту и ни одного лимита не превысил.

Внесите правила против ИИ-скрапинга в robots.txt

robots.txt — это просьба к ботам, а не жесткое правило: по данным TollBit, в четвертом квартале 2025 года ИИ-скраперы проигнорировали его запреты в 30% запросов. Тем не менее поисковые и учебные боты крупных компаний, как правило, соблюдают эти правила. Я разделил ботов на две группы: тем, что приводят читателей через ИИ-поиск, разрешил доступ, а тем, что собирают контент для обучения моделей, запретил.

Вы можете отредактировать robots.txt через панель управления хостингом или SEO плагины, например, Rank Math SEO. В свой документ, в плане того, что касается ботов, я добавил следующие строки:

User-agent: *

Content-Signal: search=yes, ai-train=no, ai-input=yes

User-agent: OAI-SearchBot

User-agent: ChatGPT-User

User-agent: Claude-SearchBot

User-agent: Claude-User

User-agent: PerplexityBot

User-agent: Applebot

User-agent: DuckAssistBot

User-agent: MistralAI-User

Allow: /

User-agent: GPTBot

User-agent: ClaudeBot

User-agent: Google-Extended

User-agent: Google-CloudVertexBot

User-agent: Applebot-Extended

User-agent: Bytespider

User-agent: CCBot

User-agent: Amazonbot

User-agent: FacebookBot

User-agent: meta-externalagent

Disallow: /

Строка Content-Signal сообщает, что контент можно использовать для поиска и ответов ИИ, но не для обучения моделей. Размещайте его в группе User-agent: * рядом с существующими правилами WordPress.

Важно! Google-Extended не влияет на поиск Google и AI Overviews, но одно правило охватывает и обучение Gemini, и его ответы со ссылками на источники. Так что, запрещая его, вы теряете и цитирование в Gemini. Если видимость в Gemini для вас важнее защиты от обучения, перенесите Google-Extended в группу Allow.

Разрешение в robots.txt не поможет, если бота блокирует защита сервера. В моих логах разрешенные OAI-SearchBot и PerplexityBot получали отказ 403 примерно в трети запросов. Так что после изменений проверьте в журнале, какой ответ получают поисковые ИИ-боты. Если это именно 403, обратитесь в поддержку хостинга, чтобы добавить их в исключения.

Заблокируйте ботов на уровне сервера

Если бот игнорирует robots.txt, заблокируйте его на уровне сервера: тогда он получает ответ 403 еще до запуска WordPress. Сначала проверьте журнал, так как на моем сайте GPTBot и CCBot уже получали 403 без каких-либо моих правил.

Для этого:

1. Откройте cp.cityhost.ua → вкладка «Сайты».
2. У нужного сайта перейдите на вкладку «Безопасность».
3. В разделе «Заблокированные User-Agents» нажмите «Редактировать».
4. Добавьте в конец списка название бота и сохраните изменения.

Cityhost уже блокирует по умолчанию распространенные вредоносные боты. Проверить, сработало ли блокирование, можно в Web SSH командой curl -I "https://ваш-сайт.com" -A "CCBot": в ответе должен быть код 403.

Важно! Не добавляйте в список Googlebot, bingbot и поисковых ИИ-ботов, иначе сайт потеряет трафик из поиска и видимость в ответах ИИ. А скраперов, маскирующихся под браузер, блокирование по User-Agent не остановит.

Читайте также: Плохие боты: чем они вредят сайту и как их заблокировать

Включите запрет на обучение в Cloudflare

Cloudflare останавливает ботов еще до того, как они дойдут до хостинга, а нужные инструменты есть на бесплатном тарифе, которым я пользуюсь уже 1.5 года:

1. Добавьте сайт в Cloudflare и измените NS-серверы домена на те, которые он выдаст.
2. Откройте свой домен → Security → Settings.
3. В фильтре групп выберите Bot traffic.
4. Нажмите Configure AI bot policies.
5. Для Training выберите Disallow, а для Search и Agent оставьте Allow (do not block).
6. Нажмите Save.

Опция Disallow блокирует учебных ботов Amazon, Anthropic, Meta и OpenAI, а Googlebot, Applebot и Bingbot продолжают индексировать сайт для поиска.

Переключатель Enable Bot Preference Sync добавляет правила Cloudflare в начало robots.txt. Если вы уже запретили Google-Extended и Applebot-Extended в своем robots.txt, как описано выше, оставьте его выключенным, чтобы правила не дублировались.

Важно! С 15 сентября 2026 года опции Block и Block on pages with ads для Training останавливают также Googlebot, Bingbot и Applebot. Так что для запрета обучения выбирайте именно Disallow.

Возможно ли полностью остановить вредоносный ИИ-скрапинг

Нет. Часть ботов маскируется под обычных посетителей, и на небольшом сайте распознать всех невозможно. Cloudflare описал, как Perplexity после блокировки переходил на User-Agent браузера Chrome и менял IP-адреса, а выявить это удалось лишь после исследования на данных с миллионов сайтов. Однако описанные методы все же позволяют избавиться от большей части ботов.

Только не спешите с действиями. Мой тест показал, что страх перед ИИ-скрапингом часто больше реального вреда: ИИ-боты дали лишь 3.2% запросов, а процессор перегружали сканеры уязвимостей и фоновые задачи WordPress. Поэтому не блокируйте всех подряд. Сначала найдите, что именно нагружает ваш хостинг, и решайте конкретно эту проблему, а ИИ-ботов ограничивайте лишь тогда, когда найдете именно их в логах. И проверяйте журнал запросов хотя бы раз в месяц, чтобы вовремя заметить новых ботов.