Форум Поисковые системы Прочие поисковики

Как запретить индексацию baidu.com?

12
T
На сайте с 16.10.2007
Offline
44
tiras
4479

Как запретить индексацию ботами baidu.com?

Отдам фарма домен в хорошие руки БЕСПЛАТНО! (http://clck.ru/3nqR)
Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#1

User-Agent: Baiduspider

Disallow: /

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
MP
На сайте с 03.04.2009
Offline
12
MR_PR
#2
tiras:
Как запретить индексацию ботами baidu.com?

в robots.txt прописать строчку:

User-Agent: Baiduspider

Disallow: /

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#3

MR_PR, что именно я написал не правильно?

T
На сайте с 16.10.2007
Offline
44
tiras
#4

Пробовал пропичывать в роботсе , не помогает! Поэтому и задаю вопрос

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#5
tiras:
Пробовал пропичывать в роботсе , не помогает!

Значит роботс некорректно составлен.

Робот Байду поддерживает стандарт описания robots.txt, в принципе как и все остальные приличные роботы - http://www.baidu.com/search/robots.html

Евген
На сайте с 28.02.2004
Offline
1040
Евген
#6
Цахес:
http://www.baidu.com/search/robots.html

во чего вычитал :)

User-agent:

　　该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

Арбитражишь? подними РОИ на 10-20% - бонусы на пополнение рекламных сетей (тм, мт, твк, твс) (https://eprofit.me/ru/partner?olymp)
F
На сайте с 29.03.2005
Offline
70
fed
#7

Попробуйте прописать в .htaccess

RewriteEngine On

RewriteCond %{REQUEST_URI} !^/403.php$

RewriteCond %{HTTP_USER_AGENT} .*Baiduspider.* [OR]

RewriteCond %{HTTP_USER_AGENT} .*Yeti.*

RewriteRule .* /403.php [F]

Только вот не факт, что поможет.

Я пытаюсь запретить доступ для Slurp и msnbot (грузят сервер), запрет в robots.txt, бан по айпи и как указал выше не помогает.

Может кто подскажет что еще можно сделать чтобы их успокоить.

Резкий всплеск прямых заходов. Настройка .htaccess. 301-редирект одной Подскажите как сделать редирект
T
На сайте с 16.10.2007
Offline
44
tiras
#8
fed:
Попробуйте прописать в .htaccess

RewriteEngine On
RewriteCond %{REQUEST_URI} !^/403.php$
RewriteCond %{HTTP_USER_AGENT} .*Baiduspider.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yeti.*
RewriteRule .* /403.php [F]

Только вот не факт, что поможет.

Я пытаюсь запретить доступ для Slurp и msnbot (грузят сервер), запрет в robots.txt, бан по айпи и как указал выше не помогает.
Может кто подскажет что еще можно сделать чтобы их успокоить.

Мне посоветовали так прописать в htaccess:

SetEnvIfNoCase User-Agent "^Baiduspider" search_bot

SetEnvIfNoCase User-Agent "^BaiduImagespider" search_bot

<Limit GET POST HEAD>

Order Allow,Deny

Allow from all

Deny from env=search_bot

</Limit>

Вроде перестал ходить засра...ец:)

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#9
fed:
Я пытаюсь запретить доступ для Slurp и msnbot (грузят сервер), запрет в robots.txt, бан по айпи и как указал выше не помогает.
Может кто подскажет что еще можно сделать чтобы их успокоить.

Директиву Crawl-delay юзайте. Она-то как раз и призвана усмирять чересчур активных роботов.

F
На сайте с 29.03.2005
Offline
70
fed
#10

Crawl-delay раньше помогала, сейчас не работает.

Мне проблемы создает юзер-агент такого вида:

Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

При запрете:

SetEnvIfNoCase User-Agent "^Slurp" search_bot

Бот продолжает бомбить сервер.

П.С. кстати может кому понадобиться, проверка доступа юзер-агентов:

http://www.botsvsbrowsers.com/SimulateUserAgent.asp

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий