Если сайт WordPress ещё в разработке, используется как тестовый стенд или временно закрыт для публики, его лучше сразу убрать из индексации. Иначе поисковые системы могут успеть сохранить в выдаче черновые страницы, служебные разделы, дубли или пустые шаблоны. Потом это приходится вычищать вручную, а иногда и ждать переобхода неделями.
Надёжный способ здесь не один. Для WordPress обычно используют настройку видимости сайта, запрет через robots.txt и, если нужно, дополнительные ограничения на уровне сервера или доступа. Самая частая ошибка — включить только один из этих способов и считать задачу решённой. На практике лучше понимать, что именно делает каждый вариант и где у него границы.
Что именно нужно закрыть от индексации
Сначала стоит разделить две задачи. Первая — не дать поисковикам индексировать страницы. Вторая — не дать людям и ботам вообще открыть сайт. Это не одно и то же.
Если сайт должен быть доступен вам и команде, но не попадать в поиск, достаточно настроек WordPress и корректного robots.txt. Если же проект совсем не должен быть публичным, лучше дополнительно закрыть его паролем или ограничить доступ на уровне хостинга. Один только robots.txt не защищает сайт от просмотра: он лишь просит поисковых роботов не заходить по указанным путям.
Самый простой способ: настройка видимости в WordPress
Для большинства тестовых и временно закрытых сайтов сначала включают штатную опцию WordPress. Она находится в админке по пути Настройки → Чтение. Там есть пункт Попросить поисковые системы не индексировать сайт.
После включения WordPress добавляет в сайт служебную подсказку для роботов. Это нормальный первый шаг, но не стоит воспринимать его как абсолютную гарантию. Поисковики обычно учитывают такую просьбу, но окончательное решение остаётся за ними. Кроме того, если на сайте уже были страницы в индексе, они не исчезнут мгновенно.
Этот способ подходит, если:
- сайт ещё не запущен публично;
- нужно быстро закрыть тестовую копию;
- вы хотите использовать штатный механизм WordPress без правок файлов.
После включения настройки проверьте, что она действительно сохранилась. Иногда её случайно снимают при обновлении, переносе сайта или после работы другого администратора.
robots.txt: когда нужен и чего от него ждать
Файл robots.txt полезен, если нужно явно запретить обход сайта роботами. Для WordPress его обычно размещают в корне сайта. Базовый вариант для закрытия всего сайта выглядит так:
User-agent: *
Disallow: /Это говорит роботам не обходить сайт целиком. Но есть важная оговорка: robots.txt не удаляет уже проиндексированные страницы и не скрывает сайт от людей. Если страница уже известна поисковику, она может оставаться в выдаче без описания или с фрагментом старого контента.
Поэтому robots.txt хорошо работает как часть общей схемы, но не как единственная защита. Его используют, когда нужно:
- закрыть обход сайта на этапе разработки;
- не пускать роботов в служебные разделы;
- дополнить настройку видимости WordPress.
Если сайт уже был в индексе, одного robots.txt обычно недостаточно. Тогда нужно либо дождаться переобхода, либо использовать более жёсткие меры, например временную авторизацию или заголовок noindex на уровне сервера.
Когда лучше закрыть сайт паролем или ограничить доступ
Если проект не должен быть доступен никому, кроме вас и команды, надёжнее закрыть его не от индексации, а от доступа вообще. Это особенно актуально для staging-сайтов, внутренних прототипов и временно замороженных проектов.
Подход зависит от хостинга и веб-сервера:
- HTTP-авторизация — простой и надёжный вариант, если хостинг позволяет включить пароль на каталог или сайт;
- ограничение по IP — удобно для внутренней разработки, когда доступ нужен только из офиса или VPN;
- техническая заглушка — если сайт ещё не должен открываться вообще.
Этот вариант лучше, чем просто прятать сайт от индексации, потому что поисковым роботам и случайным посетителям нечего будет сканировать. Для временно закрытого проекта это часто самый безопасный путь.
Как не оставить сайт открытым случайно
На практике проблемы возникают не из-за самой настройки, а из-за несогласованности. Например, в WordPress стоит запрет на индексацию, но в теме или плагине остались открытые страницы, а robots.txt не обновили после переноса. Или сайт закрыли в админке, но забыли, что на сервере уже лежит старый индексируемый контент.
Перед публикацией или снятием ограничений проверьте несколько вещей:
- в
Настройки → Чтениевключён запрет на индексацию, если сайт ещё не должен быть в поиске; - в корне сайта нет случайно открытого
robots.txtс разрешающими правилами; - главная страница и важные разделы не отдают код ошибки вместо заглушки, если сайт временно закрыт;
- если сайт уже попадал в поиск, вы понимаете, что удаление из индекса занимает время;
- после переноса или обновления настройки не сбросились.
Отдельно стоит помнить: если сайт доступен по нескольким адресам, например с www и без него, закрывать нужно именно ту версию, которая реально отвечает в браузере. Иначе поисковик может увидеть открытую копию.
Как проверить, что сайт действительно закрыт от индексации
После настройки не ограничивайтесь визуальной проверкой в админке. Откройте сайт в обычном браузере и посмотрите исходный код главной страницы. Если WordPress работает штатно, в коде должна быть видна служебная подсказка для роботов, а сам сайт не должен выглядеть как публичный проект для индексации.
Дальше проверьте robots.txt по адресу https://ваш-домен/robots.txt. Если вы закрывали сайт через этот файл, убедитесь, что правила действительно отдаются сервером и не перезаписываются кэшем или плагином.
Если сайт уже был в поиске, можно дополнительно проверить его через инструменты для вебмастеров поисковой системы. Там видно, как робот воспринимает страницу: доступна ли она, запрещён ли обход, есть ли сигнал к индексации. Это особенно полезно после переноса сайта на новый домен или после снятия тестового режима.
Что делать, когда сайт нужно снова открыть
Перед запуском проекта в публичный доступ не забудьте снять все ограничения в обратном порядке. Сначала отключите запрет на индексацию в WordPress, затем обновите robots.txt, если он был жёстко закрыт, и только после этого проверяйте видимость сайта для поисковиков.
Если сайт долго был закрыт, не ждите мгновенного появления в поиске. Поисковые системы должны заново обойти страницы, переоценить их и только потом показать в выдаче. Для нового или обновлённого сайта это нормальная задержка, а не ошибка.
Если задача именно в том, чтобы временно спрятать проект от поиска, а не строить сложную схему доступа, обычно достаточно такой последовательности: включить штатный запрет в WordPress, проверить robots.txt и убедиться, что сайт не открыт по старым адресам и зеркалам. Если же нужен реальный режим «никто кроме нас», лучше добавлять пароль или ограничение доступа на сервере. Тогда вы не зависите только от поведения поисковых роботов.