Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Запрет индексации в robots.txt после пояления в выдачи?

A
На сайте с 16.07.2009
Offline
0
admit
308

Такой вопрос - как отреагирует яндекс, если запретить ему индексировать сайт в robots.txt после того, как он все проиндексировал? Вывалится всё или останется?

A
На сайте с 24.04.2007
Offline
117
alekssn
#1

Если запретить индексировать весь сайт, то конечно же он вывалится из индекса

A
На сайте с 16.07.2009
Offline
0
admit
#2

просто несколько сайтов на хостинге, там на каждом по пару тысяч страниц. он (и др боты) каждый день на каждом по 3000-5000 тыс заходов делает. хостер грит прекращай или выкинем.

A
На сайте с 24.04.2007
Offline
117
alekssn
#3

Отрубите всех, кроме Яндекса и Гугла 

User-agent: Googlebot

Disallow:



User-agent: Yandex

Disallow:



User-agent: *

Disallow: /
K
На сайте с 31.01.2001
Offline
737
Kost
#4

User-agent: Yandex

Crawl-Delay: 100

Промежуток подберите сами. Или вам поисковый трафик вообще не нужен?

А хостера надо менять.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
minaton
На сайте с 18.09.2004
Offline
135
minaton
#5

Робот Яндекса поддерживает директиву Crawl-delay

http://webmaster.ya.ru/replies.xml?item_no=1338

IBC Russia (http://ibcrussia.com/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий