Если в поиске не должны появляться служебные страницы, дубли, черновые посадочные или малополезные записи, их лучше закрывать точечно, а не прятать весь сайт. В WordPress это обычно делают на уровне конкретной страницы или записи: добавляют мета-тег noindex, иногда одновременно запрещают переход по ссылкам nofollow, а для отдельных технических URL используют и другие способы. Самый безопасный вариант — закрывать только то, что действительно не должно ранжироваться, и проверять результат после публикации.
Что именно нужно закрывать от индексации
Смысл прост: поисковик может обходить страницу, но не должен включать её в результаты поиска. Это полезно для страниц, которые не несут самостоятельной ценности для пользователя или повторяют другой контент.
Чаще всего закрывают:
- служебные страницы: результаты поиска по сайту, страницы благодарности, личный кабинет, корзину, оформление заказа;
- малополезные или временные страницы: тестовые посадочные, страницы под акцию, которые уже не актуальны;
- дубли: страницы с почти одинаковым содержимым, если они не нужны в выдаче;
- архивы и таксономии, если они создают лишние страницы без пользы для поиска.
Если страница должна быть доступна пользователю по прямой ссылке, но не нужна в поиске, обычно достаточно noindex. Если же URL вообще не должен обходиться ботами, это уже другая задача, и здесь нужно аккуратнее: запрет сканирования через robots.txt не равен запрету индексации.
Самый удобный способ: закрыть конкретную страницу или запись через SEO-плагин
На практике проще всего использовать SEO-плагин, который умеет ставить noindex для отдельных материалов. Это самый понятный вариант для владельца сайта: не нужно править шаблоны темы и лезть в код.
В популярных плагинах логика похожая: открываете нужную страницу или запись в админке и ищете настройки индексации. Обычно там есть переключатель вроде Allow search engines to show this Page in search results?, Index/Noindex или аналогичный пункт в SEO-блоке.
Что делать:
- Откройте нужную страницу или запись в редакторе WordPress.
- Найдите SEO-настройки плагина, который у вас установлен.
- Для этой страницы выберите
Noindex. - Если плагин предлагает отдельную настройку для ссылок, при необходимости задайте
Nofollow, но только если вы действительно не хотите передавать ссылочный сигнал по этим ссылкам. - Сохраните запись и обновите страницу.
Этот способ подходит для точечной работы: закрыть одну страницу, несколько записей, отдельную рубрику или архив. Для большинства сайтов этого достаточно.
Если у вас нет SEO-плагина
Тогда можно добавить мета-тег noindex в шаблон конкретной страницы, но это уже решение для разработчика. В WordPress правильнее не вставлять код в произвольные файлы темы без понимания, как именно страница формируется. Если тема поддерживает отдельные шаблоны, можно сделать отдельный шаблон страницы и вывести там нужный robots-мета-тег. Но для обычного владельца сайта это менее удобно, чем настройка через SEO-плагин.
Чем noindex отличается от robots.txt
Здесь часто путают два разных механизма. Если коротко: noindex говорит поисковику не показывать страницу в выдаче, а robots.txt ограничивает обход. Это не одно и то же.
| Способ | Что делает | Когда использовать |
|---|---|---|
noindex | Страница может быть просканирована, но не должна попадать в поиск | Для отдельных страниц и записей, которые должны быть доступны по ссылке |
robots.txt | Запрещает или ограничивает обход URL ботами | Для технических разделов, где не нужно даже сканирование |
Для задачи из этой статьи обычно нужен именно noindex. Если закрыть страницу только в robots.txt, поисковик может всё равно сохранить URL в индексе без содержимого, если уже знает о нём. Поэтому для удаления из выдачи точечных страниц надёжнее использовать мета-тег noindex или заголовок X-Robots-Tag.
Как закрыть от индексации не только страницу, но и запись, рубрику или архив
Иногда проблема не в одной записи, а в целом типе страниц. Например, у вас есть рубрика с тонким контентом, архив автора без смысла для поиска или страницы пагинации, которые не должны конкурировать с основными материалами.
В SEO-плагинах обычно можно задать правила для:
- отдельных записей и страниц;
- рубрик и меток;
- архивов авторов;
- страниц поиска по сайту;
- страниц пагинации, если плагин это поддерживает.
Но не закрывайте всё подряд. Например, рубрика может быть полезной посадочной страницей, если на ней есть нормальное описание и она помогает навигации. Закрывать её стоит только тогда, когда она действительно не нужна в поиске или создаёт дубли.
Когда лучше не закрывать страницу, а исправить саму проблему
Иногда noindex — это не решение, а временная мера. Если страница случайно попала в индекс, но при этом должна быть основной, лучше не закрывать её, а привести в порядок контент, заголовок, канонический адрес и внутренние ссылки.
Не стоит закрывать страницу от индексации, если она:
- должна привлекать трафик из поиска;
- является основной версией материала;
- нужна для SEO как посадочная страница;
- получает внешние ссылки и уже имеет ценность.
В таких случаях правильнее убрать дубли, настроить canonical или объединить материалы, а не прятать полезную страницу от поисковика.
Как проверить, что страница действительно закрыта
После настройки не полагайтесь только на визуальную проверку в админке. Нужно убедиться, что на странице реально появился запрет на индексацию.
Проверьте три вещи:
- Откройте страницу в браузере и посмотрите исходный код. В нём должен быть мета-тег вида
<meta name="robots" content="noindex">или близкий вариант, который генерирует ваш плагин. - Проверьте заголовки ответа сервера, если используете
X-Robots-Tag. Это удобно делать через инструменты разработчика браузера или командойcurl -I https://example.com/page/. - Посмотрите, не закрыта ли страница случайно в
robots.txt, если вы рассчитывали именно наnoindex.
Если страница уже была в индексе, её удаление может занять время. Поисковик должен сначала переобойти URL и увидеть новый сигнал. На это влияет частота обхода сайта, а не только сама настройка в WordPress.
Типичные ошибки, из-за которых страница всё равно попадает в поиск
Самая частая ошибка — поставить запрет не там, где нужно. Например, закрыть URL в robots.txt, но не добавить noindex. Вторая ошибка — закрыть не ту версию страницы: с www и без www, со слешем и без слеша, http и https могут восприниматься как разные адреса, если сайт настроен неаккуратно.
Ещё одна проблема — дублирование настроек. Если один плагин ставит noindex, а другой переписывает robots-мета-тег, результат может быть неожиданным. На сайте лучше оставить один источник управления индексацией: либо SEO-плагин, либо собственную реализацию в теме или плагине.
Если вам нужно массово чистить сайт от дублей и служебных страниц, удобно использовать инструменты, которые умеют управлять SEO-настройками и техническими дублями централизованно. Например, в Clearfy Pro есть функции, связанные с чисткой сайта и управлением SEO-элементами; это полезно, когда проблема не в одной странице, а в целом наборе лишних URL. Но для точечной задачи по конкретной записи всё равно достаточно обычного noindex.
Что выбрать в реальной работе
Если нужна простая и безопасная схема, ориентируйтесь так:
- одна страница или запись — ставьте
noindexчерез SEO-плагин; - несколько однотипных URL — настройте правило на тип контента или архив;
- технический раздел, который не должен сканироваться вообще — используйте
robots.txtтолько после понимания последствий; - страница важна для пользователей, но не для поиска — закрывайте только от индексации, не ломая доступ по прямой ссылке.
Для WordPress это самый практичный подход: вы закрываете конкретные URL без вреда для остального сайта и не создаёте лишних ограничений для поисковых систем. Если потом страница станет полезной и её нужно будет вернуть в поиск, достаточно убрать noindex и дождаться повторного обхода.