Через сколько вылетят из выдачи ненужные страницы?

S
На сайте с 20.06.2012
Offline
131
808

Предыдущий владелец сайта либо дебил, либо "гений" генерировать говно. На данный момент в выдаче 300-500 страниц по типу "site.ru/tag/поисковый запрос" и на таких страницах максимум 2 статьи.

Через сколько примерно ПС поймет, что теперь эти страницы запрещены к индексации через роботс + на каждой странице noindex,follow?

A
На сайте с 18.02.2014
Offline
66
#1
sebadoh:
Предыдущий владелец сайта либо дебил, либо "гений" генерировать говно. На данный момент в выдаче 300-500 страниц по типу "site.ru/tag/поисковый запрос" и на таких страницах максимум 2 статьи.

Через сколько примерно ПС поймет, что теперь эти страницы запрещены к индексации через роботс + на каждой странице noindex,follow?

Как только посетит данные страницы.

EndSeo.ru ( http://endseo.ru/ ) — блог доброго дедушки сеошника
NDControl
На сайте с 19.01.2017
Offline
44
#2

Когда как, обычно не более, чем через 2-3 недели вылетает запрещенное в роботсе, если вас боты регулярно посещают, конечно.

Я здесь невидимка, тебя обнимаю, ты спишь и не знаешь...
AM
На сайте с 11.02.2009
Offline
137
#3
sebadoh:
Предыдущий владелец сайта либо дебил, либо "гений" генерировать говно. На данный момент в выдаче 300-500 страниц по типу "site.ru/tag/поисковый запрос" и на таких страницах максимум 2 статьи.
?

Disallow: /tag/* присутствует ?

Stolz
На сайте с 25.01.2007
Offline
177
#4

Если речь о гугле, он может расставаться с индексом месяцами. На одном своем сайте еще в июле на всех уровнях, включая настройки апача, гугл вебмастерс, роботс и т.п. запретил бота. В результате трафик падал медленно, в индексе до сих пор много страниц.

S
На сайте с 20.06.2012
Offline
131
#5

al-m, /tag/

Есть вообще смысл в такой ситуации пользоваться сервисом "Удалить URL-адреса"?

Recoba
На сайте с 04.04.2008
Offline
112
#6
sebadoh:
al-m, /tag/


Есть вообще смысл в такой ситуации пользоваться сервисом "Удалить URL-адреса"?

советую создать отдельный сайтмап с такими страничками, добавить через яндекс.вебмастер и скормить этот сайтмап Яндексу. Ну вроде как так. И скормить эту карту через Гугл.вебмастер. Яндекс обычно выплевывает через неделю, если есть все запреты. Гугл может дольше. Для Гугла важно не закрывать в роботсе! Для Гугла этот запрет будет означать вообще не заходить на эти страницы, а это значит что не увидит в коде noindex,follow. Поэтому в Гугле долго вылетают зачастую по этой причине.

igor3310
На сайте с 27.02.2011
Offline
138
#7

А если вместо старых страниц - отдает 404 ощибку - тоже чет долго не вылетают такие

Веб разработка WordPress, OpenCart, Modx Revo и прочее - https://searchengines.guru/ru/forum/1040224
Recoba
На сайте с 04.04.2008
Offline
112
#8
igor3310:
А если вместо старых страниц - отдает 404 ощибку - тоже чет долго не вылетают такие

если запрета в роботсе нету, то тут просто надо натравить робота на такие страницы. Если статус 404, то в индексе такая страница может быть только с датой кэша более ранней, чем приобретение статуса 404.

проблема такая может быть, когда одномоментно убирают внутренние ссылки на такие страницы 404 (что логично, борьба с битыми), убирают из карты сайта (что тоже логично), закрывают в роботсе. В этом случае робот может долго не посещать такие страницы - соответственно они долго болтаются в индексе со старым кэшем. Поэтому выход такой: не закрывать в роботсе, а так же либо какое-то время не убирать внутренние ссылки на такие, либо держать в отдельной карте сайте. В Гугл.вебмастере кстати очень удобно отслеживать как в этом сайтмапе улетают странички из индекса.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий