Удаленные страницы добавлять в robots.txt или нет?

A
На сайте с 06.11.2010
Offline
128
410

Удалил несколько крупных разделов на сайте и добавил адреса в роботс:

Disallow: /mobile*

Disallow: /qa*

Может не надо было в роботс их засовывать?

Может гугл сам по 404 и 301 на главную поймет, что страницы надо выкинуть из индекса?

E
На сайте с 21.09.2009
Offline
283
#1

Alkoshenko, для чего "глобальные" удаления? В роботс зачем закрывать7 Бот то не узнает про 404 тогда :)

оптимально отдать на страницы код 410, а не 404 тогда.

W
На сайте с 31.10.2014
Offline
7
#2

а зачем их добовлять ? cмысл ?

ВДС на платформе XEN от $10 - 1024 RAM / SSD disc + 24/7 Бесплатная поддержка и Администрирование (http://pqcservice.net/vps_vds.html)
F1
На сайте с 27.06.2013
Offline
45
#3

будет код 404, он и сам выбросит из индекса

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий