Как узнать pr страницы?))

122

skAmZ

6 мая 2010, 13:05

761

Здравствуйте.

Есть задача проверить pr у большого количества страниц, как бы это сделать по быстрее? Чтобы было понятнее, что конкретно я хочу, приведу пример (используем несколько ip для проверок):


$opts = array(  'socket' => array( 'bindto' => $ip ) );

$context = stream_context_create($opts);

$contents = file_get_contents($url, FALSE, $context);

При обращении на страницы вида:

http://www.google.com/search?client=navclient-auto&ch=....

http://toolbarqueries.google.com/search?client=navclient-auto&ch=....

Результат мы получаем в среднем за 1.5-2 сек, с такой скоростью сервер до второго пришествия будет проверять нужное количество страниц…

Вопрос стоит в ускорении скорости работы минимум раз в 10…

Есть идеи? :)

85

Dim_K

6 мая 2010, 13:30

#1

Запросы в несколько потоков увеличат скорость без проблем. Если нужен готовый скрипт с паралельными запросами - обращайтесь ;)

122

skAmZ

6 мая 2010, 13:42

#2

Пробовал уже... 25 особого результата не принесли, да и не решение это)

85

Dim_K

6 мая 2010, 13:57

#3

skAmZ:
Пробовал уже... 25 особого результата не принесли, да и не решение это)

ничего себе результат не принесли 😆 проверил - 20 доменов в 10 потоков проверяются 9.3 секунды это на момем узком домашнем канале. В один поток 81.31 секунды

122

skAmZ

6 мая 2010, 14:20

#4

При распараллеливании процесса проверки на 25 независимых скриптов визуально не наблюдается сильного эффекта, а точно высчитывать лень.

Нужно ускорить сам процесс получения pr страницы.

K

4

kotbazilio

6 мая 2010, 14:22

#5

запускайте по 500 потоков через 500 проксисерверов. я когда-то так весь яндекс маркет за 2 часа сграбил. успехов )

122

skAmZ

6 мая 2010, 14:46

#6

Кроме потоков идей нет?)

Что делать, чтобы попасть в ответы Google Bard

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах