Форум Поисковые системы Прочие поисковики

Как запретить индексацию baidu.com?

12
[Удален]
#11
fed:
Crawl-delay раньше помогала, сейчас не работает.

Мне проблемы создает юзер-агент такого вида:
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

При запрете:
SetEnvIfNoCase User-Agent "^Slurp" search_bot
Бот продолжает бомбить сервер.

потому что нужно так:

SetEnvIfNoCase User-Agent "^Yahoo! Slurp" search_bot

наверное...

FOXI.BY добавил 11.05.2009 в 02:55

http://mishamx.habrahabr.ru/blog/20632/ вот еще ссылочка в тему

F
На сайте с 29.03.2005
Offline
70
fed
#12

Да, можно и так. Спасибо.

Бот вроде бы успокоился. В принципе, все указанные варианты рабочие.

Rapidmann
На сайте с 18.11.2008
Offline
66
Rapidmann
#13

По поводу роботса: у меня удивительным образом робот продолжал ходить не смотря на корректность составления и верное расположение, робот только яндекса, после того как в html-шаблон добавил мета-тег о роботсе ходить сразу перестал...

Блог где ненавидят рекламу VTYC.ru (http://www.vtyc.ru) Сайтик про девайсы и интернеты всякие (http://www.itw.su)
C
На сайте с 24.02.2009
Offline
16
casinonsk
#14
Rapidmann:
По поводу роботса: у меня удивительным образом робот продолжал ходить не смотря на корректность составления и верное расположение, робот только яндекса, после того как в html-шаблон добавил мета-тег о роботсе ходить сразу перестал...

Вопрос не по теме но все же задам... а как мне замонить бота с baidu.com :)

Он мне очень нужен ... ☝

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий