Подскажите хороший скрипт каталога

Ну за десять секунд тысячи то не сграбить.

У нас каталог берёт 1К в 30 сек. примерно. И нормально прочёсывает всё.

Так я и спрашиваю - по какому запросу ? :-)

Дык у меня тоже кучу запросов каталог делает и тоже не банит. Так почему у DM. забанили? Каталог DM. как я понял обновляет тИЦ подряд у всех 7000 сайтов, а у моего сначало обновляет тИЦ, потом ищет обратную ссылку, потом у следующего обновляет тИЦ. В первом случае за еденицу времени скрипт будет делать больше запросов. Вот я и думаю, что причина в этом.

Фигушки.

из за того что хостер 310.ру кривой( еще и хамоватая техподдержка до безобразия) то у меня скрипт не работал вообще

Я скрипт запускал всего 2-3 раза. Там фигня такая что он отрабатывал 200-400 позицый и хостер убивал его и заново приходилось запускать. Итого полноценного и полного прогона не было ни разу но за 3 дня тестирования я примерно 8000 запросов набрал

Ну тогда не знаю...

У них через robots.txt закрыт доступ почти ко всем страницам, поэтому они на него и ссылаются.

неправильный ответ.

Запрос идет через Xml а у них это разрешено с ограничением лимита запросов

http://search.yaca.yandex.ru/yca/cy/ch/www.*****.ru/

User-Agent: *

Disallow: /yca/cy

Что неправильно?

310 как раз просто рай, не так сервера нагружены как у остальных. Если на Инфобоксе в среднем за день скрипт показывал по 30-50% загруженности сервера, то на 310 в среднем 5-15%.

Да и поддержка там лучше чем в ИБ, отвечают даже в 4 часа утра минут через 5-10 после отправки тикета, а в ИБ дай бог к обеду следующего дня пропишут тебе домены или на вопрос ответят.

А то что скрипт отключался не мудрено, лимит же 30 секаунд на выполение, в хтаксесе вроде можно его повысить, если не ошибаюсь.

P.s:

Нет, мой каталог так же запрашивает постоянно тИЦ, не отвлекаясь на разные другие действия. За 30 секунд берёт 950-1150 тИЦ'ов.

Вы как тИЦ забираете? Стандартным запросом каким то или тем же что ЯБар? Может в этом разница? Т.е. заголовки ЯБара отсылает и запрос аналогичный ЯБаровскому или другой какой?

С загрузкой и временем ответа я согласен. Вот только поддержка частенько хамит. То мне по телефону заявили что за мои 10 баксов они не намерены куда то лезть и что то смотреть. То задаю 3 вопроса по существу. получаю ответ "Да" Спрашиваю " что да ?" получаю ответ что порусски написали что всё да. и в том же духе. И так переписка ни о чем на 5-8 постов.

ДА вот и нет........

я 5 СУТОК добивался их ответа . Скрипт убивается ровно через 19 минут 23 секунды -1170 секунд Они МЛЯ сваливают это на то что у них лимт процессорного времени жесткий в 5 минут.

5 минут и 19 чувствуете разницу ?

Внятного ответа я так и не получил...............

К сожалению не в состоянии дать ответ так как я не разработчик а пользователь

Сейчас сделано иначе 0 запрос тиц идет в момент посещения страницы каталога и соответственно массовые запросы к яндексу урезаны полностью. Но бан остался и хостер никак не может получить ответ и не может сказать причину бана.

Дело в том что около 8000 запросов у меня было 21-22 ноявбя а бан наложили 1 декабря

Рискну предположить, что и у меня и у DM. тИЦ забирается стандартным способом.:)