Форум Поисковые системы Прочие поисковики

Как выгнать бота Yahoo! Slurp с сайта.

HUTOR
На сайте с 21.09.2005
Offline
102
HUTOR
10106

Доброго времени,

Собственно не для кого не секрет, что данный бот для русскоязычных сайтов, погоды не делает, только жрет траф. Закрыл бота Yahoo! Slurp в robots.txt , а он блин не уходит, запись в robots.txt стандартная: 

User-agent: Yahoo! Slurp

Disallow: /

Но боты все равно тусят на сайте, в чем фишка, что сделал не правильно?

По идее, когда бот заходит на сайт, он читает роботс.тхт, если ему написано лесом, значит лесом, почему он идет на сайт?

F
На сайте с 12.03.2007
Offline
85
fatalenergy
#1

Плют большинство ботов на robots.txt,

Я лишних так гоню: 


<?php

$b_d = array("Downloader", "FAST", "HTTPClient", "DISCo", "Drip", "EirGrabber", 

"ExtractorPro", "EyeNetIE", "FlashGet", "GetRight", "Gets", "Go!Zilla", "IBrowse", "JetCar", 

"JustView", "NetSpider", "Offline", "Grabber", "Pockey", "ReGet", "Slurp", "SuperHTTP", 

"Teleport", "WebAuto", "WebCopier", "WebFetch", "WebReaper", "WebSauger", 

"WebStripper", "WebWhacker", "WebZIP", "Webster", "Wget", "Download", 

"SuperBot", "Recorder", "Download Master");



$b_i = array("82.103.141.180","58.37.140.225"); 



$ag_opr_info = $_SERVER["HTTP_USER_AGENT"];



for ($i=0; $i < count($b_d); $i++)

{

    if (strstr($ag_opr_info , $b_d[$i]))  {$bot_manager=$b_d[$i]; $i = count($b_d) + 1;};

}



$ag_opr_ip = $_SERVER['REMOTE_ADDR'];



for ($i=0; $i < count($b_i); $i++)

{

if (strstr($ag_opr_ip , $b_i[$i]))  {$bot_manager=true; $info1 = "

<br><br><b>Ваш ip-адресс заблокирован.</b>";};

}



if (@$bot_manager) 

{

echo "<html><HEAD><title>Антихакер</title><META HTTP-EQUIV=\"content-type\" 

CONTENT=\"TEXT/HTML CHARSET=Windows-1251\"></HEAD><BODY><p><b>{$ag_opr_ip}

</b><br><br>Вы пытаетесь выполнить запрещенное действие. Ваш 

<a href=\"http://www.leader.ru/secure/who.html\">IP</a> и информация провайдера 

были зафиксированы. Подробней 

<a href=\"http://www.leader.ru/secure/who.html\">здесь</a>. Если с вашего 

<a href=\"http://www.leader.ru/secure/who.html\">IP</a> еще будет 

зафиксировано 2 и более попытки получить информацию с сайта с 

помощью недопустимых способов, доступ вам будет закрыт навсегда. 

Информация о попытке несанкционированного доступа будет передана 

Вашему провайдеру. При нанесении Вами вреда серверу и программному 

обеспечению, все затраты будут компенсированы в судовом порядке 

(в том числе судовые издержки). </p><p><strong>Возможные причины:

</strong> Вы используете запрещенный браузер или пытаетесь скачать 

сайт целиком! </p><p>Если Вы думаете что ошибка произошла случайно 

отпишите нам на адрес: 

<a href=\"info@fatalenergy.com.ru\">info@fatalenergy.com.ru</a>{$info1}</p>

</BODY></HTML>";

exit();

}

?>

И yahoo.com по непонятным пиричимам попал в этот список, я его не банил.

Как начать тренироваться (http://max-body.ru/quick_start.html), Бодибилдинг форум (http://fatal-energy.com/). Обменяюсь/куплю ссылками со статей (или статьями) с сайтами бодибилдинг/фитнес тематики.
Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#2
HUTOR:
в чем фишка

Робот Yahoo может, не подчинятся командам файла robots.txt.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
d1ma
На сайте с 18.03.2007
Offline
102
d1ma
#3

У меня все работает, в robots.txt стоит :

User-agent: Slurp

Disallow: /

Возможно Ваш вариант тоже правильный, просто бот ещё не скачал новую версию robots.txt .

Можно временно заблокироать доступ через .htaccess :

RewriteCond %{REQUEST_URI} !^/robots\.txt$

RewriteCond %{HTTP_USER_AGENT} ^.*Slurp.*$ [NC]

RewriteRule .* - [F,L]

HUTOR
На сайте с 21.09.2005
Offline
102
HUTOR
#4
fatalenergy:
Плют большинство ботов на robots.txt

вроде серьезная компания, я бы понял если новоиспеченный поисковик или спамбот, которые кладут на все роботсы.тхт

можно подробнее, как применить ваш вариант, куда вставляется код?

Цахес, мдя, убила фраза из ответа 1-го варианта:

а если полезны, то бот просто минуя все преграды индексирует их и обновляет в своем индексе.

второй вариант, без комментариев

d1ma:
У меня все работает

и все же, как правильно, User-agent: Slurp или User-agent: Yahoo! Slurp,

может и так, и так написать ...:)

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#5

Попробуйте заменить User-agent:Yahoo! Slurp на Slurp.

Тут вот какая ситуация: в разделе помощи Yahoo! упоминается имя робота - Slurp, а в официальном блоге, имя робота указанно как Yahoo! Slurp.

Так что, Бабушка надвое сказала. ☝

HUTOR
На сайте с 21.09.2005
Offline
102
HUTOR
#6
Цахес:
Так что, Бабушка надвое сказала.

это точно... )))

попробую сначала Yahoo! Slurp, если не получится, поставлю просто Slurp ...

MA
На сайте с 06.05.2006
Offline
159
mik-a-el
#7

Я в роботсе прописал так:

User-agent: Slurp
Crawl-delay: 120

С тех пор боты яхи стали редкими гостями на сайтах.

V
На сайте с 22.02.2007
Offline
150
Vimsite
#8

пропишите сразу оба и все дела :)

[Удален]
#9
HUTOR:
это точно... )))
попробую сначала Yahoo! Slurp, если не получится, поставлю просто Slurp ...

Пропишите просто Slurp. Вот топик по вашему вопросу, полезный, я думаю, будет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий