Ускорение парсинга сайта - PHP

G
На сайте с 19.07.2009
Offline
39
2949

Здравствуйте.

Столкнулся с необходимостью отпарсить несколько сайтов с огромнейшим количеством страниц.

Создал необходимы парсер на php, он начиная с заданной страницы начинает перелистывать остальные страницы и выбирать все что мне необходимо. Но сайты очень медленные и сам процесс затягивается на долго.

Так вот прочитал статьи на форумах как можно ускорить этот процесс, и там говориться необходимо использовать curl_multi_init.

Читал про него, но ничего не понял. Понял, что с его помощью можно одновременно выполнять несколько действий (если я правильно выражаюсь)

Уважаемые, форумчане, прошу написать какой нибудь пример использования curl_multi_init в деле парса.

Ну или иной способ ускорить парсинг.

Заранее, спасибо.

MirUrokov.ru - ГДЗ (готовые домашние задания), видео уроки, открытые уроки, онлайн калькуляторы. (http://mirurokov.ru)
siv1987
На сайте с 02.04.2009
Offline
427
#1
Онтарио
На сайте с 30.06.2009
Offline
37
#2
gooooodru:
Но сайты очень медленные и сам процесс затягивается на долго.

Будете делать больше запросов получите два пути:

1) вас забанят (маловероятно, хотя бывает)

2) вы завалите целевой сайт

по п.2 велика вероятность, что ваш парсер не заметит ошибок и вы будете парсить отлупы сервера

самое хорошее решение в ситуации - купить ведро попкорна побольше

Robin_Bad
На сайте с 24.12.2007
Offline
85
#3

так а чем плох пример в официальной документации? всё предельно просто описано.

но я согласен с Онтарио, это может выйти боком

LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#4

Выкачайте через телепорт (там многопоточность) себе весь сайт и на локалке уже выбирайте нужные данные :)

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий