WebAlta - бот обкуренный.

хочешь заддосить конкурента? :)

Неа, хочу свой внести, у меня страниц десяток всего, сервер не упадет. Да и вообще не находится не один мой сайт, только ссылки на него. Даже по моему имени (Vipraskrutka) не один мой сайт не вылазит :( , обидно.

Причины две:

a). У тебя домен в зоне отличной от ru/su/by/ua - те, которые мы индексируем в обязательном порядке.

b). Твой сервер расположен за пределами СНГ.

Варианта добавления два - либо добавить сайт в список первоначального обхода вебальты либо добавить твой сайт в dmoz.org/russian/ - тк пока мы не запустили собственный каталог именно этот список сайтов берется за основу для старта и все сайты в нем индексируются.

Кстати по теме топика - мы увеличили в 10 раз размеры буферов и поменяли механизмы ротации УРЛов при отдаче их краулерам, так что проблема излешней агрессивности должна быть почти полностью решена.

Вообще спрашивайте не стесняйтесь ;)

85.21.201.51 - - [18/May/2006:00:30:55 +0400] "GET / HTTP/1.0" 301 295 "-" "WebAlta Crawler/1.3.10 (http://www.webalta.ru/bot.html) (Windows; U; Windows NT 5.1; ru-RU)"

85.21.201.51 - - [18/May/2006:00:30:55 +0400] "GET /robots.txt HTTP/1.0" 301 305 "-" "WebAlta Crawler/1.3.10 (http://www.webalta.ru/bot.html) (Windows; U; Windows NT 5.1; ru-RU)"

85.21.201.51 - - [18/May/2006:00:45:14 +0400] "GET /robots.txt HTTP/1.0" 301 305 "-" "WebAlta Crawler/1.3.10 (http://www.webalta.ru/bot.html) (Windows; U; Windows NT 5.1; ru-RU)"

85.21.201.51 - - [18/May/2006:00:45:14 +0400] "GET / HTTP/1.0" 301 295 "-" "WebAlta Crawler/1.3.10 (http://www.webalta.ru/bot.html) (Windows; U; Windows NT 5.1; ru-RU)"

И таким образом краулер мучал сайт в каждые ~20 минут весь день. Может как-то обрабатывать 301 редирект?

Берите пример Yahoo!:

72.30.110.28 - - [18/May/2006:00:30:38 +0400] "GET /robots.txt HTTP/1.0" 301 305 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

72.30.110.28 - - [18/May/2006:00:30:39 +0400] "GET /robots.txt HTTP/1.0" 200 185 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

test.webalta.ru (85.21.201.51)

на этого вообще нет смысла обращать внимание.

Алексей Гурешов, судя по всему, вес заголовка страницы имеет не большой вес, по сравнению с другими поисковиками. Это видно на любом запросе, например окна пвх. Почему это так? Мне кажется из-за этого релевантность страдает.

Ну во-первых смотреть на тесте выдачу бессмысленно, там только обкатываются новые штучки

http://www.webalta.ru/search?enc=utf8&q=окна%20пвх - смотреть имеет смысл вот тут. По поводу веса заголовка, то эти параметры еще не настраивались толком, как и все остальные. Хотя сам автонастройщик у нас уже есть. Настраивать будем когда база будет побольше.

Как это?

Хочу место застолбить, а то вдруг вы потом введете принцип "историзма", и как у Рамблера станет, что чем старше тем лучше.

Ну я за вас болею ребят. Лишьний поисковик - это ГУД.

Исправлено. Ответ на вопрос уже найден.

Нет, такие принципы мы точно не введем :)