SSC - контроль за ссылками в Sape

Да, похоже на то, выясняю как обойти.

Сделан и разослан патч. Методом тыка выяснено, что минимальный период задержек между обращениями к Яндексу: 2 - 5 сек., что и реализовано. Если хотите изменить - меняйте в коде. Это временное решение, т.к. время работы скрипта увеличилось в несколько раз, будем искать альтернативу.

И еще реализовано сохранение списка урлов в файлик, чтобы каждый раз не доставать урлы из сапы. Про отображение не только урлов, но и названий помню, будет в след. версии.

Не помогает.

По-разному. Где-то помогает. Видимо зависит от кол-ва запросов с IP.

Соотв. пробуйте разные хостинги, желательно с выделенным IP, можно пробовать локально.

И я думаю как обойти...

P.S. Интересно - это у меня только такая проблема? Читал про неработающий семонитор, но ведь подавляющее кол-во скриптов и прог должны утыкаться в "Вы робот?"

У меня выделенные на хосте. После 30-40 в любом случае нет начинает выдавать.

Хм. как же он определяет, что это робот, если рефереры, юзер-агенты, задержка - все рандомное?

Может, по этому и определяет? Зачем пользователю с одного айпишника менять рефереры и, особенно, юзер-агентов каждые 2-5 секунд?

Ну изначально у меня был всего 1 юзер-агент, дык еще быстрее блочил. Все же дело в задержках, имхо. Сделать 10 - 20 сек. и все будет ок, вот только тогда скрипт будет работать часами.

дык я руками пробиваю 1 запрос в 1-5 секунды наверное, и так списком 1000-2000 запросов - нет никаких блоков, а все скрипты (семонитор тоже) блочат на 20-30ом обращении :( что то тут не так :)

Надо смотреть глазами Яндекса.

может быть запросы через разные прокси посылать ?