Links_checker - поиск ссылок во множестве сайтов

Конечно, объём обмена данными большой, потому отчет придет нескоро...

Если проверять ссылки по заранее известным адресам или с небольшим разбросом (например, сайт может переползти на другую старницу каталога), то это может снизить объём...

Тем более редко кому нужен отчет "прям щас", главное - это качественная проверка, а сами запросы можно рассредоточить по времени, чтоб сервер особо не грузить. Пускать их с задержкой, чтоб не все разом...

он вообще не придет, потому что все выполняемые на сервере скрипты имеют ограничение времени выполнения. Через 30 сек (настройка php по умолчанию) они принудительно завершаются.

Такие программы не пишутся для исполнения на сервере, т.к это либо означает его перегрузку, либо неприемлемые для вас параметры по скорости.

Мы бы обязательно предложили серверный вариант, если бы была такая техническая возможность.

Техническая возможность есть...

У меня скрипт проверки наличия ответных ссылок работает..

каталог у меня порядка 500 - 550 сайтов и проверка занимает минут десять что-ли...

ну а потом отчет приходит.

Правда система моя написана не на РНР, а на ПЕРЛ'е

Не буду спорить - сервер можно настроить как угодно. Но ограничение по времени есть всегда иначе достаточное количество запущеных скриптов со строчкой, типа while(1=1) {} - убьет его.

Сервером своим у меня и не пахнет, сижу на мейле (физический сервер - РБК), раньше сидел на вебрайз'е, а еще раньше на бесплатном фатал'е. И у всех у них было и есть ограничение 30 секунд на работу любого скрипта...

Однако проверка ссылок работала на всех корректно...

Была проблема оганичения времени, посидеть пришлось денёк... Ну потом и надумал...

И всё путём работает, час отрабатывает без проблем...

Да- что-то вроде припоминаю, там в момент принудительного завершения скрипта возбуждается исключение, которое можно использовать чтобы запустить скрипт по новой?

Если рассуждать о теоретической части, то есть еще важная деталь. Когда идет обращение по неотвечающему адресу обычно выдерживается тайм-аут в несколько секунд. В это время другой поток должен работать с другим сайтом и таким образом загрузить канал. То есть количество потоков должно быть таким, чтобы количество передаваемых данных равнялось ширине канала. По опыту для 256 кбит/сек - это порядка 50 потоков. Для мегабитного канала должно быть больше и т.д.

Иначе проверка, скажем 1000 каталогов займет неприемлемо много времени.

В среднем реальная скорость передачи данных при обходе нормального по доступности сайта в 1 поток составляет всего 20-30кбит. Из-за даже не плохих ссылок, а необходимого времени начальной инициализации http протокола при начале каждой страницы. То есть одна страница загружается конечно быстрее, но если обойти сайт из например 100 страниц и поделить объем данных на общее затраченное время, то получатся как-раз такие цифры. Независимо от ширины канала.

Вот так 🚬

Да дело еще в том, что число потоков может быть ограничено на сервере. Например, фалатовский сервак более трёх потоков не переваривал...

в природе есть большая куча различных proxy

Товарищ, я не это имею ввиду...

я про то, что вызывате Вы, например, fork или system, или exec 3 раза, а на четвертый функция не срабатывает, то есть нельзя из одного скрипта запускать более трёх дочерних процессов и нельзя сделовадельно делить более чем на 3 ветки отправку HTTP запросов...

Очевидно такое понятие как перезапуск скрипта Вам не знакомо просто ........ :)