Разработчикам Webalta, перестаньте досить :)

Напишите в /robots.txt:

User-agent: Webalta

Disallow: /

Он все равно нафиг не нужен в блишайшие минимум два года. А там посмотрим.

Кстати, у них где-то есть свой форум, лучше туда жаловаться. Вот тут это тоже обсуждалось.

А сколько у Вас страниц на сайте?

точно. я тоже так сделал. сижу радуюсь.:)

Много, около 20к статей + объявлений больше 40к.

На счет роботса это понятно, только к индексации не хотел сайт закрывать от альты. Сейчас просто отдаю роботу белый экран :), может не таким жадным станет...

И как мы твои 60тысяч страниц высосем, если ты на 3х тысячах в день банишь?

Бред... Скажи имя домена, я его забаню, чтобы наше время тоже не терять.

просто наверное не надо стремиться высосать их за день или два, а то активность робота вебальты вызывает недоумение. Должно быть ограничение на количество документов в минуту, пауза между последовательными скачиваниями с одного сайта (хотя бы пару секунд), только и всего.

С другой стороны лимит на 3к запросов в сутки - это действительно глупо.

Извините, наверно не так вырозился :), на счет 3к.

3к это запросов юзеров + поисковики кроме альты и я не говорю что это лимит для хостера. Грубо говоря бот альты генерил трафа в три раза больше.

Проста на акке находится не один сайт

Дело в том что мне хостер акк замарозил за превышение лимитов серверных. Я начал капать в чем траблы, оказалась нагрузка на бд, но запросы были детские типа select id, text from art where id=123456. Т.е. такие запросы можно обрабатывать большими кол-вами. Так статы показывали что основной траф генерит альта.

Я конечно понимаю чтобы составить конкуренцию большим поисковикам нужно иметь, что то особенное типа самой большой базы и т.д., но не такими же средствами. Можно ли настроить чтобы бот ходил не так жестко, а по мягче.

А еще не считайте что страниц 60к, их намного больше получится, превью статей, постраничный вывод тем самым страниц получается как минимум в два раза больше.

Этот сайт я привел как пример, на самом деле ситуация такая на многих сайтах.

Вот это правильно. Сделайте хотя бы как на Апорте, а то уж слишком 😡

И еще, пользуясь случаем , к разработчикам msnbot:

Мда... уважения такие посты не добавляют.

Я слежу за вашими сообщениями с самого, так сказать, начала вашей деятельности, и в последнее время все больше убеждаюсь, что кроме наглости и хамства у вебальты пока ничего нет.

Radionov, я уже писал Гурешову что здесь люди постарше его лет на 10 и даже думаю на 20, а он ведёт себя королём и совсем на "Ты", был дажен инциндент посылания на ЙУХ, ну далеко они так не уедут, каждый сам себе делает репутацию :)