Вебальта работает или нет?

Робот в логах отмечается, причем похоже что для начала они взяли dmoz базу сайтов, ...

Разрешите поддержать топикстартера?!

Оказывается с 1 марта идет бета-тестирование http://www.webalta.net/ru/news.html

Пока есть некоторые мелки баги и выдача не совсем приглажена.

Есть одна фича - дополнительно показывать первую ссылку из тех, которые "еще с этого сайта". Хотя "дополнительно с сайта" не работает.

Вчера (15 апреля) Вебальта указывала проиндексировано - 0 документов. Зато 2 недели робот ходит на сайт каждый день и жрет документы пока не лопнет - у меня всего 8 Мб информации на сайте, а он по логам умудрился уже 34 Мб слопать. Получается что он ходит по кругу??? У меня есть предположение, что он иногда создает проблемы для других пользователей в моменты "приема пищи" ...

Приходит, жрет трафик, портит статистику.

В robots.txt пробовал написать:

User-agent: WebAlta

Disallow: /

не помогает.

User-agent его такой:

WebAlta Crawler/1.3.4 (http://www.webalta.ru/bot.html)

а указанная страница не существует.

Вы не находите, что такое поведение довольно бесцеремонно?

Если сильно достает, можно в .htaccess прописать

Deny From 85.21.193.107

(это ip их паука crawl-ru-85-21-193-107.webaltabot.com)

Лично я так сделал, т.к. считаю что дважды в день полностью обходить мой сайт - хамство, или другими словами - паразитная нагрузка на сервер.

А до роботс.тхт ему похоже действительно побоку - зашел, прочитал - и пошел дальше с новой силой.

Если им надо потренироваться- пусть делают свои сайты и на них тренируются.

Все, замочил паразита :)

в 13:55 - бот последний раз зашел, 5 разочков башкой об 403 ответ постучался и канул

Еще замечены следующие IP-адреса:

85.21.193.106

85.21.196.180

85.21.196.181

85.21.201.54

85.21.201.55