Непонятка с запрещенными к индексации страницами

Joker-jar
На сайте с 26.08.2010
Offline
171
381

Всех приветствую. На сайте имеется раздел, запрещенный к индексации в роботс. Индекс Яндекса отражает практически точно реальное количество разрешенных к индексированию страниц сайта, фильтрация запрещенных ссылок ("Исключено роботом") видна в вебмастере. В гугл вебмастере я также вижу запрещенные ссылки в "Ошибки сканирования", однако в гугле при запросе site:site.ru выдает "Результатов: примерно ..." и число больше реального, с захватом этих запрещенных ссылок. Иду по выдаче на последнюю страницу. Меня прерывают сообщением "Чтобы показать наиболее значимые результаты, мы опустили некоторые, очень похожие на ... уже показанных." и количество результатов становится более правдивое. Жму "повторить поиск, включив опущенные результаты" и вижу в выдаче страницы, запрещенные в robots.txt. При этом заголовки - анкоры ссылок, которые ведут на эти запрещенные страницы. В действительности эти запрещенные страницы - редиректы на внешние ресурсы. Это нормально? Возможно, я что-то упустил.

B
На сайте с 10.04.2006
Offline
64
#1

robots.txt запрещает к индексации но это не значит что вы не увидите урл страниц в serp особенно если на страницу ведут внешние ссылки

Joker-jar
На сайте с 26.08.2010
Offline
171
#2

Кажется, догнал логику Гугла. При запросе site:site.ru поиск осуществляется не по контенту, а по url'у, поэтому и выводятся ссылки на страницы, запрещенные к индексации, ибо критерий поиска удовлетворяется. По ключевой фразе такую страницу не найти, т.к. она не в индексе.

В таком случае, чеккеры количества страниц в индексе Гугла, использующие для определения "site:site.ru" врут, завышая результат.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий