Один тумблер — и трафик обнулился
Представь: позиции были нормальные, трафик стабильный, а потом за пару недель всё это исчезает. Не постепенно, а резко. Первая мысль — санкции, алгоритм, конкуренты подсидели. А на деле причина часто банальнее и обиднее: кто-то включил защиту от ботов на Cloudflare, и она заодно прихлопнула Googlebot.
Это не гипотетическая история для галочки. Такое реально случается, и происходит не из-за злого умысла, а из-за невнимательности при настройке. Cloudflare (и любой другой CDN или защитный слой перед сайтом) видит трафик поискового бота и обычную ддос-атаку не так уж по-разному, если правила настроены грубо. В итоге бот получает капчу, 403-й код или редирект — и просто перестаёт заходить.
Почему это бьёт именно по SEO, а не просто «сайт недоступен»
Тут важно понять разницу с обычным даунтаймом. Если сайт лежит час — Google это переживёт, зайдёт позже. А вот если Googlebot стабильно получает отказ при каждом визите, поиск делает логичный вывод: страницы недоступны, значит, их надо убрать из индекса. Это не глюк и не баг ранжирования — это штатная реакция поисковика на то, что он не может достучаться до контента.
Дальше по цепочке: пропадает индексация → пропадают позиции → пропадает трафик. И самое неприятное — это выглядит ровно так же, как если бы тебя наказали за что-то серьёзное. Ты начинаешь искать проблему в контенте, в ссылках, в технических факторах ранжирования, а реальная причина сидит в панели CDN, до которой руки не доходили с момента настройки.
Где именно ломается
Обычно виновники — это:
- Bot Management и Crawl Control в Cloudflare — если правила прописаны слишком жёстко, под фильтр попадают легитимные поисковые боты вместе с мусорным трафиком.
- WAF-правила — файрвол уровня приложения иногда блокирует запросы по паттернам, которые случайно совпадают с поведением поискового бота.
- Настройки на уровне хостинга или провайдера — иногда защита включается не в самом Cloudflare, а на стороне хостера, и команда сайта об этом даже не знает.
Отдельная засада — когда всё это правится сторонним IT-подрядчиком «для безопасности», без согласования с тем, кто отвечает за SEO. Через месяц оказывается, что защита работает отлично, а сайт из индекса выпал.
Что проверить, чтобы не наступить на эту грабли
Вот конкретный набор действий, а не общие слова про «внимательность»:
- На этапе настройки хостинга или CDN явно разреши user-agent’ы Googlebot, Google-Ads-bot и в целом User-agents Google — этот пункт должен быть в чек-листе запуска, а не в списке «потом проверим».
- Пройдись по настройкам Crawl Control, Bot Management и WAF-правилам в Cloudflare — убедись, что ни одно из них не режет поисковых ботов вместе с плохим трафиком.
- Поставь мониторинг статистики сканирования в Google Search Console. Резкое падение крауловых запросов — это первый и самый быстрый сигнал, что что-то пошло не так, задолго до падения позиций.
- Если меняются настройки хостинга или CDN, или вы работаете с новым IT-подрядчиком — требуй тестирование доступности сайта для поисковых ботов перед выкладкой на прод, а не после.
- Пропиши в robots.txt и в конфигурации CDN чёткий список: какие боты разрешены, какие запрещены. Это должен быть документ, а не то, что держится в голове одного разработчика.
Актуально это для всех — от локального бизнеса до крупного e-commerce, но особенно неприятно для YMYL-проектов, где выпадение из индекса означает не просто просадку трафика, а потерю видимости в теме, где доверие и так строится долго.
Итог
Технические ошибки такого рода не прощают — они действуют быстро и незаметно, маскируясь под что угодно, только не под самих себя. Проще один раз перепроверить настройки защиты от ботов, чем потом восстанавливать позиции после случайной блокировки Googlebot, и полноценный технический прогон конфигурации хорошо укладывается в SEO-аудит.