Вопрос: Отношение модераторов поисковых систем к сайтам-анализаторам

31

sumdex

3 июля 2006, 21:18

424

Добрый день :)

У меня такой вопрос:

Занимаюсь разработкой seo анализатора.

В основном вся информация вырезается из страниц поисковых систем с помощью регулярных выражений и представляется прямо на 1 странице сайта-анализатора :

количество проиндексированных страниц

количество ссылающихся страниц

количество исходящих ссылок

тИЦ

ПР

robots.txt

Вопрос: не забанят ли такой анализатор?

Ведь, например тулбар генерит ссылку и открывает страницу поисковой системы - вроде не за что банить, а такой скрипт будет выдирать всю нужную информацию, как воспримется это модераторами поисковых систем?

Жить нужно креативно, но с умом...

200

Vetra

4 июля 2006, 06:24

#1

http://www.be1.ru/stat/ не банят. Но там даются только ссылки на проиндексированные страницы и тому подобное. Кстати, если делать очень много запросов к выдаче, то Я. просто заблочит Ваш ip, ибо для таких целей у него есть Яндекс.XML.

328

K. Ermakov

4 июля 2006, 06:26

#2

Известно, что если пользовать semonitor очень активно (большое число запросов за единицу времени), можно схлопотать временный бан. Своими глазами видел, как это выглядит у google и yahoo. Насчёт остальных можете поэкспериментировать самостоятельно :)

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).

Вышла новая версия утилиты Дзен Тематика сайта

38

Vladko

4 июля 2006, 06:48

#3

K. Ermakov:
Известно, что если пользовать semonitor очень активно (большое число запросов за единицу времени), можно схлопотать временный бан. Своими глазами видел, как это выглядит у google и yahoo. Насчёт остальных можете поэкспериментировать самостоятельно :)

Я как-то каталог смастерил, который не только бэки, но и делает проверку на проиндексированность Яндексом. Примерно через месяц этот каталог перестал и ТИЦ и проиндексированность определять на каталогах обращающихся чаще чем 200-300 раз в день к Я.

Если заниматься этим серьезно то надо действительно Яндекс.XML покупать

42

andrej-ilin

4 июля 2006, 07:05

#4

Vladko:
Если заниматься этим серьезно то надо действительно Яндекс.XML покупать

Для каталога можно и бесплатной квотой вполне обойтись. Все перечисленные параметры не каждую минуту меняются, поэтому нет необходимости так часто делать запросы к Яндексу.

andrej-ilin@yandex.ru

13

kopo.ru

4 июля 2006, 15:33

#5

K. Ermakov:
Известно, что если пользовать semonitor очень активно (большое число запросов за единицу времени), можно схлопотать временный бан. Своими глазами видел, как это выглядит у google и yahoo. Насчёт остальных можете поэкспериментировать самостоятельно :)

Экспиремент автобана удался! :)

Здравствуйте, !

Этот адрес закрыт с 2006/xx/xx, потому что с него шел поток автоматических запросов , что противоречит нашей лицензии на поиск http://www.yandex.ru/info/termsofuse.html.
Отрывок лога приведен ниже.
Хотелось бы получить комментарии подобных действий.

Как мне говорили, позже все разбанили.

C Уважением, Константин.

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы