PHP скрипт определения CY, PR, DMOZ, WA, Клей CY, Клей PR сайтов

сегодня пришлось много сайтов смотреть в веб архиве и его тормоза ужасно надоели нашел решение перекочевать на старую классическую версию она мне и по душе ближе, ссылку в чекере также поправил на классику.

Кому хочется смотреть на красоты новых тормозов архива просто переименуйте wa_old.php в wa.php

[ATTACH]120664[/ATTACH]

Можно складывать в таблицу/файл данные и временную метку, вызывать отдельный скрипт по крону.

У кого свой сервер, проблем нет, вызов php в cli, либо wget. Остальным, наверное, вшить в основной исполняемый файл проверку разницы по времени и выполнять задание в случае превышения порога.

я для себя вижу это немного проще: дали скрипту список, он его разбил на строки обработал одну строку передохнул начал обрабатывать следующюю после задержки а эту очередь собиралбы в буфер или еще каким либо способом чтоб не заглох вообще в случаи если ему разом дать 10к доменов, но вот как это сделать я не знаю

По поводу не заглох ли — пусть скрипт кладёт pid. Каждый заход клиента инициирует проверку, а в случае отсутствия пида — выполнение.

был бы у меня подобный рабочий пример с удовольствием покапал бы.

логика

1. даем скрипту 1к строк

2. скрипт каждую из этих строк выполняет с заданной задержкой

3. ставит в очередь

4. параллельные сессии также обрабатывает в общей очереди но не после выполнения первого обратившегося к скрипту т.е. если к скрипту обратились 10 человек то выполнение задания скриптом должно выглядеть так

- 1ч - первая строка

- 2ч - первая строка

- 3ч - первая строка

.....

- 10ч - первая строка

- 1ч - вторая

- 2ч - вторая

....

надеюсь логика понятна

вот только такая логика оправданна или нет мне не ясно, так как все запросы тут будут выполнятся последовательно а значит и долго

если предположить что на обработку одного запроса уйдет 1 секунда а всего нам нужно выполнить 100 то вытекает почти 2 минуты другими словами 100 пользователь обратившийся к скрипту получит результат обработки первого домена из списка всего навсего через 2-ве минуты

ахтунг какойто...

это всего лишь размышления

---------- Добавлено 06.03.2013 в 16:37 ----------

интересно как была реализована логика работы у того же pr-cy.ru в его панели сайтов и как это сделано сейчас.

раньше подобными вопросами не задавался.

Многопоточный cUrl+прокси лист рандомно.

а подробнее можно как вы себе это видете, т.е. изложите логику работы от начала до конца если не затруднит.

я тоже склоняюсь в этом случаи к много поточности + прокси или дополнительным IP но к сожалению не так расширено как вы но буду благодарен.

кстати буквально вчера нашел вот что о много поточности

Почти настоящая многопоточность средствами php 5

Берётся массив прокси, создаётся функция выбора случайного. Запускается в многопоточный cUrl.

Вот хорошее объяснение, я им руководствовался:

http://job-interview.ru/articles/post/67

Свой пример сейчас привести не могу, сунулся разбираться, а там функция на 2 экрана, заточена под свои цели, долго буду вспоминать…

хорошую вы ссылку скинули спасибо, сухо увлекате5льно по делу и листингом готовым ...

маленький хинт: у вас в начале всех файлов стоит заголовок юникода(первые три байта) - его не должно быть.

Если пользуетесь notepad++, то в менюхе "Кодировки" выберете "Кодировать в UTF-8 (без BOM)" и пересохраните все файлы.

этот заголовок в .htaccess и дает 500-ю ошибку.