Форум Поисковые системы Прочие поисковики

Яху бот. Что делать?

12
EX
На сайте с 26.12.2005
Offline
20
eeX
2304

Всем привет!

Вопрос следующего плана - Яху бот постоянно пасётся на сайте.

Трафику жрёт неслабо, но в принципе терпимо.

Посетителей с Яху нет вообще.

Вопрос - что с ним делать? Запретить в роботс?

Вообще, нужен ли Яху русскоязычному сайту?

R
На сайте с 03.04.2008
Offline
90
rusevgen
#1

моё мнение - не нужен

ICQ: 577-662-540 продвижение сайтов за еду (/ru/forum/480944) продвину Ваш сайт за 3000/мес. Портфолио по запросу
drima
На сайте с 17.07.2007
Offline
46
drima
#2

от яху в рунете толку - что от козла молока. ходит на сайт, как на работу, а переходов с него не бывает. считается, что отлуп всем проявлениям яху можно сделать через .htaccess:


SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Yahoo! Slurp" search_bot
SetEnvIfNoCase User-Agent "^Slurp" search_bot
SetEnvIfNoCase User-Agent "^Yahoo! Slurp China" search_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>*

* код может отличаться - в зависимости от настроек сервера (на некоторых серверах выдается ошибка 500, нужно корректировать код с учетом настроек)

No future 4 me
[Удален]
#3

Да гони ты его в шею, глаза мусолит только...

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#4
eeX:
Вопрос - что с ним делать?

Использовать дополнительную директиву Crawl-delay. Она прекрасно умеривает пыл робота Yahoo.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
Север
На сайте с 21.03.2008
Offline
154
Север
#5

eeX, чтоб уж совсем понятно пропиши в robots.txt 

User-agent: Slurp

Crawl-delay: 60



User-agent: YahooSeeker

Crawl-delay: 60
Тех. https://searchengines.guru/ru/forum/255402 подержка Vbulletin √ <---/---> Отличные VDS √ ( https://cp.inferno.name/cart.php?aff=2714 ) <---/---> Хочу Всё Знать https://t.me/hochuVsjoZnat
EX
На сайте с 26.12.2005
Offline
20
eeX
#6

Так умерить пыл боту или послать насовсем?

Nokian
На сайте с 09.08.2008
Offline
50
Nokian
#7

Бот постоянно ходит на мой форум,дак если бы просто сканировал,его приход похож на ДДОС-атаку.Один раз даже сервер загибался,точнее Мускл падал.Надо перекрывать ему дорогу на сайты "тяжелые"...

[Удален]
#8

Однозначно не нужен. Да грузит он систему не слабо, так и толку не даёт.

Marinka
На сайте с 21.04.2007
Offline
125
Marinka
#9

eeX, Совершенно не нужен :) Смело пользуйтесь советами, которые Вам написали здесь.

SeoHammer (http://www.seohammer.ru/?partnerid=123870) - продвижение сайтов в ТОП. Попробуй нарубить в Kappusta.Ru (http://kappusta.ru/?r=B0CC924593324D4A99EF8016BF16656E)! Поисковый и коммерческий аудиты, цена по договоренности.
[Удален]
#10

По нему бэки можно смотреть. Есть от него небольшой толк. :)

"Закравливать" обязательно.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий