Форум Поисковые системы Прочие поисковики

Как запретить индексировать сайт роботот Liveinternet

softsafer
На сайте с 22.03.2005
Offline
90
softsafer
2441

Собственно ищу название этого самого робота. Рад любым сведениям, которые помогут решить проблему.

Пока попробовал сделать так:

User-agent: liveinternet spider

Disallow: /

Но результатов пока нет.

Вообще хочется закрыть сателлиты от индексации ненужными роботами (начали грузить сервер). Вот заступорился на поиске названий этих роботов.

Скрипт автоматического мониторинга сайтов (http://vovanmozg.com/2008/vy-uzhe-mozhete-kupit-ezhamon) продам. И не забывайте, что смысл жизни лежит за её пределами.
BD
На сайте с 11.06.2008
Offline
35
B3CH3D
#1

Насколько я знаю, в ЛиРу поиск идет по каталогу, так что у них нет спайдера..

Аудит безопасности сайтов (http://ahack.ru)
softsafer
На сайте с 22.03.2005
Offline
90
softsafer
#2
B3CH3D:
Насколько я знаю, в ЛиРу поиск идет по каталогу, так что у них нет спайдера..

Кто же это ломится на мои сайты 

88.212.202.26 - - [16/Jan/2009:08:00:18 +0300] "GET / HTTP/1.0" 200 15409 "-" "liveinternet spider (abuse reports send to ivanov@corp.liveinternet.ru"

88.212.202.26 - - [16/Jan/2009:08:00:50 +0300] "GET /about HTTP/1.0" 200 8580 "-" "liveinternet spider (abuse reports send to ivanov@corp.liveinternet.ru"
R
На сайте с 21.12.2006
Offline
21
roberto
#3

softsafer, напиши Иванову ivanov@corp.liveinternet.ru, чтоб бота забрал 😂

Nick84
На сайте с 10.05.2006
Offline
55
Nick84
#4

Бот там у них дикий, сайты вешает на ура, бань его по ip , такие доморощенные "поисковики" могут и не обращать внимания на правила в роботсе...

Malcolm
На сайте с 02.05.2007
Offline
119
Malcolm
#5

Через .htaccess по USER_AGENT лучше всего

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} liveinternet [OR]
RewriteCond %{HTTP_USER_AGENT} WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} Yanga [OR]
RewriteCond %{HTTP_USER_AGENT} Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} Flexum [OR]
RewriteCond %{HTTP_USER_AGENT} libwww-perl
RewriteRule ^(.*)$ - [F,L]
T
На сайте с 14.12.2008
Offline
32
trueweblance
#6
softsafer:
Кто же это ломится на мои сайты

может это злые конкуренты))можно хоть гуглом к вам ломиться, хоть дьяволом с китайских айпи:)

вообще как вариант можно и на уровне интерпретатора зарезать

если это пхп то например сделать файлик antibot.php

там написать что-то в роде if http user agent ... die ...

и проинклюдить его

хотя на уровне сервака надежней да и экономично

softsafer
На сайте с 22.03.2005
Offline
90
softsafer
#7
roberto:
softsafer, напиши Иванову ivanov@corp.liveinternet.ru, чтоб бота забрал 😂

Написал, а он цуко не забирает.

Через .htaccess по USER_AGENT лучше всего
Код:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} liveinternet [OR]
RewriteCond %{HTTP_USER_AGENT} WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} Yanga [OR]
RewriteCond %{HTTP_USER_AGENT} Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} Flexum [OR]
RewriteCond %{HTTP_USER_AGENT} libwww-perl
RewriteRule ^(.*)$ - [F,L]

Элегантный способ. До клоакинга я не допёр.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий