Webalta выходит на арену

Алексей Гурешов,

можно вопрос?

ввожу свой сайт в виде site:www.mysite.ru, выдает страницы с сайта, но titles и снипеты козебяками... Кодировка koi8, указана в meta...

Видимо поэтому при поиске по ключам моего сайта нет, хотя он во всех других ПС в топ3. Это у вас проблема?

А я люблю бота Webalta, только похоже, что когда больше х млн. уникальных страниц, у него начинает крышу немного сносить :) !

Если он сделает 10000 хитов в сутки - действительно плевать. Если он начнёт делать например ~1000 хитов в минуту я думаю мало найдётся больших сайтов которые плюют на такое, особенно в часы пик. Некоторые выставлюют цифру для автобана намного ниже, чтобы эффект от хитрого DDOS был поменьше.

Тупость бота это когда он ведёт себя тупо игнорируя всё и вся потому что читать не умеет, что для него пишут.

Два посетителя одновременно способен и самый худший виртуалхост держать. И даже если мой сервак может без проблем держать 10000 хитов в минуту от каждого из нескольких пользователей, это не значит что я буду разрешать это делать. Зачем мне это? И кто этот пользователь которому такое надо? Поисковый бот? Ограничим через Crawl-delay. Не умеет? В топку его. (c)

Как вам удалось попасть под фильтр с двумя потоками для меня загадка. Анализировать многогиговый лог мне лень. Но факт что удалось.

Вы что-то непоняли - нашему сайту от таких ботов не плохеет, они автоматически банятся.

А можно поинтересоваться сколько ваша система выдержит хитов в минуту? И вот если я с широким каналом решу выкачать большую часть вашей выдачи, я так понял вы не считаете это тупым поступком и санкций не последует? Качать буду всего лишь в два потока. Я не жадный и бота-скачивальщика выложу в открытый доступ. Тогда каждый в меру ширины своего канала сможет выгрузить себе WebAlt'у. Зачем нас ограничивать, у вас же мощный сервер, а не какая-то доска на виртхосте. :D

Да все оптимизируется легко. Уа, гугль, альтависта и любой мало-мальски вменяемый админ, это уже лет много как умеют делать.

Нет проблемы забрать контент с наименьшими проблемами для владельца.

первый раз услышал, первый раз поюзал , что то их выдачи не очень по нра, как по качеству так и по позициям по которым он ранжировал мой сайт :) да и титле он как то слабо учитывает -посмотрел по паре запросов совсем плохо учитывает:) далеко им до гигантов ИМХО, а точнее ещё один велосипед

Алексей, что то там у Вас....... Вот вчерашний посетитель ломился снова crawl-ru-85-21-193-109.webaltabot.com А число вчера было 16 июля 2007 года.

А Вы полагаете что должно быть иначе? или Ваш сайт это некий критерий точности выдачи поисковика?

Ну когда по уникальному названию сайта сначала идут левые каталоги, в которых он когда-то регистрировался, а где-то на третьей странице болтается сам сайт - это наводит на некоторые размышления

Складно говорите, надеюсь что и ваш сервер(или сетка серв.) сразу начала работать :)

Написал письмо по поводу Бана. Ответа пока нет. Похоже в данный момент у Webaltы еще не завелся Платон Щукин,

а может это будет Пётр Карасев? да что-уж, лучше тогда Алеша Акулов, пора завоевывать моря океаны :) !