"Семониторы" как орудье пролетариата

Хорошо бы еще успокоили, что IP-ы не будут банить тем, кто их пользует

Таки получается, что таки есть такой юзер-агент, которому официально разрешено не соблюдать robots.txt? Название его не подскажете? А то мы, как законопослушные граждане, платим за Яндекс.XML, а тут вон оно как оказывается. Можно на халяву выдачу забирать, и тебе за это ничего не будет. Хотелось бы действительно услышать комментарий работников Яндекса.

wolf, они не разрешали официально :) Gray лишь сказал о том что Яндекс умеет довольно четко определять автоматические запросы и не учитывать их в статистике.

Так, по логике это модуль должен напрямую быть связан с модулем бана по IP. Т.е. определили автомат - забанили айпишник и вычистили его запросы из базы. Скажите, многих партизан с семонитором банят? Подсчитав отношение случаев бана к числу сессий, получим процент фильтрации автоматических запросов. Не думаю, что он будет значимым - автоматические программы маскируются под обычных юзеров, как могут.

например Mozilla/5.0

robots.txt Яндекса

User-agent: *
Disallow: /?
Disallow: /404.html
Disallow: /about.html
Disallow: /advanced_engl.html
Disallow: /advertising
Disallow: /articles
Disallow: /chisla.html
Disallow: /cgi-bin/
Disallow: /cgi/
Disallow: /cy
Disallow: /dzen.html
Disallow: /i/
Disallow: /ie3/yandsearch
Disallow: /keyboard_qwerty.html
Disallow: /logotypes
Disallow: /norobot
Disallow: /polling
Disallow: /redir
Disallow: /regions.html?
Disallow: /s/
Disallow: /setup
Disallow: /skazki
Disallow: /subscribe/confirm.pl
Disallow: /subscribe/view.pl
Disallow: /yaca
Disallow: /ya
Host: www.yandex.ru

я не вижу запрета ни для yandsearch, ни для yandpage...

а то, что они придумали с "/?" не вижу в RFC ;)

а вот этого я не говорил

"почувствуйте разницу" (с)

Вообще за что купил, за то и продаю. Отсебятины нет.

Опаньки... Действительно. Давненько я не заглядывал в яндексовский роботс... Так это что ж получается, приходи какой угодно робот и забирай из выдачи, чего и сколько пожелаешь? Также хотелось бы коммент от сотрудников Яндекса услышать. :)

Может тему перенести либо в раздел Яндекс, либо в раздел, гле СЕО софт обсуждается, в частности, тот же Семонитор?

А то что-то серьезная тема для Курилки получается...

А вы посмотрите какой юзер-агент указывает семонитор. Лично я в логах вижу "Robot Semonitor"

Уважаемый Константин!

По своему опыту могу сказать что банят не за мониторинг позиций, а за мониторинг бек-линков. У меня по крайней мере было так. Проверяй на любую глубину - все ок. А вот как попытался проверить бэки семонитором - так и забнили сразу. Ну, покаяние, и через несколько часов все ок.

Хотя в хелпе Семонитора написано:

"Запросы программы выглядят как запросы обычного браузера."

С другой стороны, там же написано: "Q. Большинство поисковых систем запрещают автоматические запросы. Может ли поисковая система заблокировать мой IP адрес за использование вашей программы. A. Мы не знаем ни одного случая подобной блокировки за более чем 2 года использования и распространения программы."

так что :)