Форум Практика оптимизации Любые вопросы от новичков по оптимизации

кто знает этого бота?

dark elf
На сайте с 08.11.2006
Offline
11
dark elf
651

что это за бот? чей проэкт? "Mozilla/5.0 (compatible; Webbot/0.1; http://www.webbot.ru/bot.html)"

на сайте почти пусто, просто этот глист (bot) в статистике генерит тьму переходов с поддомена моего сайта (поддомена нет и небыло, просто настройки сервера сделаны так что если набрать абракадабра.сайт.ру все равно выдаст сайт.ру)

"Человечество не останется вечно на земле, но в погоне за светом и временем сначала робко проникнет за пределы атмосферы, а потом завоюет себе всё околосолнечное пространство..." с К.Э. Циолковский
angr
На сайте с 11.05.2006
Offline
413
angr
#1

Цитата с сайта _ttp://www.webbot.ru/:

Webbot - Это Crawler сайтов, был разработан для удовлетворения внутренних потребностей в поиске информации в Интернете.
На данный момент не предполагается осуществление публичного доступа к собранной информации, также как и публичного сервиса для поиска.

консператоры какие-то....

P.S. хозяива у него интересны LLC "Golden Internet"

Требуется СЕО-Специалист в Кишиневе, в офис. ()
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
dark elf
На сайте с 08.11.2006
Offline
11
dark elf
#2

новую вебальту делают? просто это бот накинулся на сайт и хавает его и при этом забирает несуществующий адрес сайта (со всеми картинками и страницами), просто меня это както настораживает...

Kislov
На сайте с 29.04.2006
Offline
185
Kislov
#3

В роботс запретите ему индексировать сайт.

Hi!
На сайте с 15.12.2006
Offline
103
Hi!
#4

User-agent: Webbot

Disallow: /

dark elf
На сайте с 08.11.2006
Offline
11
dark elf
#5

да мне он не мешает, пускай малыш кушает :) ... просто пускай кушает то, что надо, а не все, что попало в рот тянет :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий