Против будут вебмастеры, чьи сайты без их ведома куда-то добавили. Это неэтично.
Хм, то ли не заходят сюда вебмастера, то ли у всех сайты в непоте, то ли и так хватает продаж... В чем причина весьма ограниченного внимания?
Я к сожалению не знаю стабильного списка проксей. Если подскажете - как вариант.
Почитал тему "Вы робот?" в разделе "Яндекс", имхо Яндекс глючит, раз у такого кол-ва людей при ручных запросах вываливается капча. А значит исправят, по крайней мере задержки будут помогать.
Ну изначально у меня был всего 1 юзер-агент, дык еще быстрее блочил. Все же дело в задержках, имхо. Сделать 10 - 20 сек. и все будет ок, вот только тогда скрипт будет работать часами.
Сергей напоминает Мэтта Гроунинга, этакий неиссякаемый кладезь сарказма и судя по океаническому спокойствию ему таки удалось изобрести кнопку "бабло". И еще, наверное, Сергей что-то вроде барометра - как только он напишет в топике про ап "Йандексоиды придурки, будь вы прокляты!" - вот это будет конец СЕО, а пока - зайдешь, прочтешь очередной перл и поймешь - все спокойно, можно работать дальше.
По теме - с одной стороны Яндекс предсказуем, с другой - почти каждый день нас развлекает какими-нибудь нововведениями. Большинство из которых не то что бы мешает, скорее заставляет тратить больше времени. Но пока работает мозг, никакие ухищрения не помешают делать любимую работу.
Хм. как же он определяет, что это робот, если рефереры, юзер-агенты, задержка - все рандомное?
По-разному. Где-то помогает. Видимо зависит от кол-ва запросов с IP.
Соотв. пробуйте разные хостинги, желательно с выделенным IP, можно пробовать локально.
И я думаю как обойти...
P.S. Интересно - это у меня только такая проблема? Читал про неработающий семонитор, но ведь подавляющее кол-во скриптов и прог должны утыкаться в "Вы робот?"
Сделан и разослан патч. Методом тыка выяснено, что минимальный период задержек между обращениями к Яндексу: 2 - 5 сек., что и реализовано. Если хотите изменить - меняйте в коде. Это временное решение, т.к. время работы скрипта увеличилось в несколько раз, будем искать альтернативу.
И еще реализовано сохранение списка урлов в файлик, чтобы каждый раз не доставать урлы из сапы. Про отображение не только урлов, но и названий помню, будет в след. версии.
Яндекс может фильтровать эти ссылки вне зависимости от сервиса. Если Яндекс поставит цель зафильтровать - не спасут ни регистрации, ни какие-либо еще ухищрения, т.к. если сайт есть в БД Яндекса - ему не нужны сторонние сервисы, чтобы повлиять на ситуацию.
Да, похоже на то, выясняю как обойти.
