Solomono - все ссылки на сайты конкурентов

ТС скажите пожалуйста, а как часто апдейты базы проходят? Вопрос возник при проверке одного сайта, сервис показал ссылку которая была снята пол года назад. Имеется ли зависимость авторитета, траста сайта с частотой его посещения пауком и обновления данных о его внешней ссылочной массе?

сейчас меняется сам алгоритм обновления, поэтому точно сказать нельзя. текущий алгоритм подразумевал обновление данных по доменам 3-4 раза в год, при этом приоритет обновления был у доменов с относительно большей исходящей ссылочной массой (в частности с большим DOUT) и у страниц 1-3 уровней.

в новом алгоритме приоритет обновления останется тот же, а вот скорость обновления данных, думаю, смогут оценить все, особенно те, кто активно покупает или снимает ссылки.

Ваша поделка понимает robots.txt или по-другому банить надо?

что с сайтом вашим?

фигню сервис показывает)

а что с ним?

Solomono добавил 16.04.2011 в 00:26

уточните, пожалуйста

Solomono, прочитал топик. Вам задавали вопросы по поводу запрета индексации, Вы как-то вполне успешно их игнорируете.

Сегодня забанил в фаерволлах бота с айпишкой, 95.211.81.86, прикидывающегося solomono. Есть ли способ цивилизованно отключить индексацию через robots.txt?

Напрасно, это всего лишь хостер.

К сожалению, это не хостер, а именно их бот с юзер-агентом "SolomonoBot/1.02 (http://www.solomono.ru)", притом бот robots.txt даже и не скачивает, т.е. никакой речи о цивилизованном бане даже и не может идти. Зато бот умудряется зайти как с юзер-агентом, так и без него. Видимо, проверяет бан так :)

mlu, если бот поменяет сервер прописки, то бан по ip станет бесполезным.

А как Вы определили, что без юзер-агента зашёл именно соломоновский паук? Только по ip?