Чисто теоретический вопрос.

tapakah2001
На сайте с 25.05.2002
Offline
140
1630

Меня тут спросили - а что будет если после индексации, запретить пауку приходить снова (robots.txt)? Что случится с проиндексированными страницами?

Сущность доров раскрыта! (/ru/forum/comment/14853337)
LM
На сайте с 30.11.2001
Offline
71
LiM
#1
Первоначальное сообщение от tapakah2001
Меня тут спросили - а что будет если после индексации, запретить пауку приходить снова (robots.txt)? Что случится с проиндексированными страницами?

Все они пропадут из базы сразу же, как только поисковик попробует проиндексировать их снова, возьмет robots.txt и поймет, что теперь их индексировать нельзя.

С Рамблером особо - они пропадут из базы не позже, чем через 7 дней от момента запрещения в robots.txt, правда видно это будет, конечно, только после очередного обновления оной.

С уважением, Андрей Хроленок. Загляни в FAQ по оптимизации и продвижению сайтов (http://www.seoman.ru/FAQ/) Анализатор страниц сайтов (http://www.seoman.ru/analizer/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий