По этому поводу в сети есть несколько статей, в которых написано о том, что сайты под управлением WordPress индексируются быстрее, чем такие же сайты на других CMS. При этом приведены примеры из личного опыта, у меня же таких примеров нет, я не создавал сайты на CMS, кроме как на WordPress.
Для России и стран СНГ, где доля Яндекса ощутима, следует прописывать директивы для всех роботов и отдельно для Яндекса и Google.
Чтобы правильно настроить robots.txt воспользуйтесь следующим алгоритмом:
Закройте от индексирования админку сайта
Закройте от индексирования личный кабинет, авторизацию, регистрацию
Закройте от индексирования корзину, формы заказа, данные по доставке и заказам
Закройте от индексирования ajax, json-скрипты
Закройте от индексирования папку cgi
Закройте от индексирования плагины, темы оформления, js, css для всех роботов, кроме Яндекса и Google
Закройте от индексирования функционал поиска
Закройте от индексирования служебные разделы, которые не несут никакой ценности для сайта в поиске (ошибка 404, список авторов)
Закройте от индексирования технические дубли страниц, а также страницы, на которых весь контент в том или ином виде продублирован с других страниц (календари, архивы, RSS)
Закройте от индексирования страницы с параметрами фильтров, сортировки, сравнения
Закройте от индексирования страницы с параметрами UTM-меток и сессий
Проверьте, что проиндексировано Яндексом и Google с помощью параметра «site:» (в поисковой строке наберите «site:site.ru»). Если в поиске присутствуют страницы, которые также нужно закрыть от индексации, добавьте их в robots.txt
Укажите Sitemap и Host
По необходимости пропишите Crawl-Delay и Clean-Param
Проверьте корректность robots.txt через инструменты Google и Яндекса (описано ниже)
Через 2 недели перепроверьте, появились ли в поисковой выдаче новые страницы, которые не должны индексироваться. В случае необходимости повторить выше перечисленные шаги.
Для проверки в Яндексе необходимо подготовить списком ссылки такого формата:
host:zamal.info/poleznye-seo-servisy/ | url:zamal.info/poleznye-seo-servisy/
host:zamal.info/category/seo/| url:zamal.info/category/seo/
Массовая проверка ссылок в Гугле
В Гугле же будет все немного проще:
site:zamal.info/poleznye-seo-servisy/
site:zamal.info/category/seo/
Первый способ — ручная регистрация. C помощью данного вида регистрации вы можете отобрать наиболее качественные ресурсы и избежать ошибок при заполнении данных о компании.
Второй способ — полуавтоматизированная и автоматизированная регистрация. Для того, чтобы выполнить полуавтоматизированную регистрацию, необходимо в каталоге нажать “добавить компанию” или использовать полностью автоматизированный вид регистрации.
Выполнить это можно с помощью таких программ:
AllSubmitter — это программа для SEO-оптимизаторов, с помощью которой проводится автоматизированное заполнение данных в каталогах.
Zennoposter — программный комплекс, с помощью которого можно автоматизировать практически любое действие и проводить как автоматизированную, так и полуавтоматизированную регистрацию.
Xrumer — кроме массовых рассылок писем этот сервис хорош в автоматических регистрациях, в процессе работы данная программа обходит защиту от автоматических регистраций.
Полуавтоматизированную работу можно выполнять и без программ, а в настройках браузера настроить данную функцию.
Очень странно, а как можно попасть в толоки не подскажете?
