Solomono - все ссылки на сайты конкурентов

Solomono
На сайте с 22.02.2010
Offline
51
#161
elektrovenik:
Заблокировал по IP-адрес и UA робота SolomonoBot за то что не умеет пользоваться правилами robots.txt и индексирует пачками сразу по несколько сотен страниц за минуту. Автору сервиса желаю мозг и совесть.

скажите, пожалуйста, "несколько сотен страниц" это сколько? вопрос возник, потому что поступает примерно 1 (одна) жалоба в три месяца, а также есть соответствующие задержки в настройках бота.

в любом случае приношу извинения, учет robotx.txt будет введен в ближ. время

[Удален]
#162

elektrovenik, что пытаетесь спрятать - линкпомойку? :)

elektrovenik:
и индексирует пачками сразу по несколько сотен страниц за минуту.

держите сайты на нормальных хостингах :)

Chikago
На сайте с 24.10.2007
Offline
227
#163

Сделайте палево по конкретной странице, а не по урлу целиком.

Сейчас в топах внутряки сидят, по большей части, а не морды. Копаться во всех страницах не гоже. :)

6uoncuxo3
На сайте с 05.11.2008
Offline
202
#164
Chikago:
Копаться во всех страницах не гоже.

В excel и сортировку, не? :)

Upd. Не, нету в выгрузке. :D

We all live in a sick world, where hatred is a weapon, and freedom - a dream. © На небе — Бог, на земле — Россия. © Сербская поговорка.
Solomono
На сайте с 22.02.2010
Offline
51
#165
Chikago:
Сделайте палево по конкретной странице, а не по урлу целиком.

Сейчас в топах внутряки сидят, по большей части, а не морды. Копаться во всех страницах не гоже. :)

будет сделано.

Solomono
На сайте с 22.02.2010
Offline
51
#166

сегодня закончилось очередное обновление базы сервиса - средняя актуальность данных около 2х недель.

также:

1. частично обновлен интерфейс

2. стала полностью доступна выгрузка общих сводных данных по доменам по адресу

http://xml.solomono.ru , подробнее здесь

Chikago
На сайте с 24.10.2007
Offline
227
#167
Solomono:
будет сделано.

Спасибо, а когда?

Solomono
На сайте с 22.02.2010
Offline
51
#168
Chikago:
Спасибо, а когда?

1 - 2 месяца. может меньше. дело в том, что первая концепция сервиса подразумевала сбор и выдачу результатов (ссылок) по принципу домен-домен. на текущей стадии данные собираются уже по принципу документ-документ.

когда база полностью обновится, тогда и будет подключена новая опция. пока процесс идет.

M
На сайте с 08.10.2007
Offline
86
#169
elektrovenik:
Заблокировал по IP-адрес и UA робота SolomonoBot за то что не умеет пользоваться правилами robots.txt и индексирует пачками сразу по несколько сотен страниц за минуту. Автору сервиса желаю мозг и совесть.

Присоединяюсь, гнать их отседа надо, пусть научать своего робота не гадить сначала, месяц прошел, а руки так и не приросли у поганцев!

Работаем за компом, отдыхаем за рулем
medea
На сайте с 19.09.2007
Offline
307
#170
Solomono:
сегодня закончилось очередное обновление базы сервиса - средняя актуальность данных около 2х недель.

также:
1. частично обновлен интерфейс
2. стала полностью доступна выгрузка общих сводных данных по доменам по адресу
http://xml.solomono.ru , подробнее здесь

что такое iGood доноров?

Продвижение сайтов (http://www.iqpromo.ru/) под моим присмотром :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий