Вопрос про disallow в robots.txt и вебмастер яндекс.

K
На сайте с 24.07.2019
Offline
0
253

Здравствуйте. Сложилась следующая ситуация: в роботсе прописали Disallow: /filter/ (плюс еще несколько пунктов). Смысл всех конструкций - закрыть от ботов страницы фильтров, поиска и т.д. После прописывания данных команд в яндекс вебмастере, в разделе "Примеры внутренних запрещенных пользователем ссылок" резко выросло число ссылок с ответом "403" (все ссылки включют в себя конструкции, запрещенные в роботсе). Вопрос следующий: это нормально, что подобное произошло и со временем эти ссылки пропадут из отчета? Или нужно как-то исправлять ситуацию? И каковы могут быть последствия от подобного? Плюс еще вопрос - правда ли, что если страницы с подобными конструкциями уже каким-то образом проиндексировались, то запрет в роботсе повлияет только на индексацию новых страниц, попадающих под запрет, а на старые этот запрет никак не влияет и ошибка 403 именно из-за этого?

[Удален]
#1

Ну сами проверьте через вебмастер что он получает по данным адресам. Если 403, что врядли, то понятно, если нет - значит очередной косяк вебмастера.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий