Yandex сошел с ума?

FA
На сайте с 04.07.2013
Offline
61
515

Яндекс сосканировал кучу ненужных страниц...

Резкое увеличение страниц (с 7 тыс до 70 тыс).

По факту около 7 тыс и есть, и так и было на протяжении нескольких лет. Слава богу эти страницы в поиск пока не попали, но я думаю все равно мало хорошего (поправьте если не прав)

Попробовал понять что он там наплодил, но увидел только вот это:

Как я понимаю он нашел кучу страниц связанных с добавлением в сортировку и манипуляции с ними различные?

Но в robots.txt есть конструкции вида:

User-agent: *

Disallow: /*action=ADD_TO_COMPARE_LIST

User-agent: Yandex

Disallow: /*action=ADD_TO_COMPARE_LIST

Т.е. я вообще не понимаю, что он там насканировал (как посмотреть?). К чему это может привести и как это поправить?

Sterh
На сайте с 15.06.2006
Offline
226
#1

К дублям контента это приведет, с последующей сменой рел. страниц и вылетом из ТОПов.

Пишите в тех. поддержку. У них там беда какая-то с роботсом последнее время.

Программа для настройки внутренней перелинковки сайта: купить (http://www.page-weight.ru/) Проверка внешних ссылок на сайт (https://backlink.page-weight.ru) (когда Ахрефс дорого) Возьму на продвижение пару магазинов, & SEO консультации (/ru/forum/987866) для сложных случаев.
FA
На сайте с 04.07.2013
Offline
61
#2
Sterh:
К дублям контента это приведет, с последующей сменой рел. страниц и вылетом из ТОПов.
Пишите в тех. поддержку. У них там беда какая-то с роботсом последнее время.

Спасибо, пошел писать...так то жесть канешно...

FA
На сайте с 04.07.2013
Offline
61
#3

Пришел ответ от Яндекса:

Дело не в доступности самих страниц для индексирования, а в наличии ссылок на подобные адреса, именно они стали доступны для нашего робота, поэтому данные о страницах попали в его базу.
Правила, расположенные в robots.txt, являются для робота строгой инструкцией, пока в файле есть запрет, страницы не будут индексироваться роботом, не волнуйтесь.

Теперь вообще не понятно. Страницы закрыты в роботс-е, но Яндекс нашел ссылки и проиндексировал их? Точно не волноваться ?)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий