Форум Сайтостроение Веб-строительство

PHP парсер, 100 страниц. Делать паузу или есть способ лучше?

12
TF-Studio
На сайте с 17.08.2010
Offline
334
TF-Studio
#11

@set_time_limit(0);

@ini_set('max_execution_time',0);

@ini_set('set_time_limit',0);

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
LovelAss
На сайте с 05.06.2009
Offline
96
LovelAss
#12

ignore_user_abort(1);

set_time_limit(0);

Используем прокси и пишем в логи результаты работы парсера.

G2
На сайте с 27.10.2009
Offline
62
ghost28
#13

Но паузы в запросе это не очень корректно. Если банит хостер, то он проверяет активность по определенному шаблону за некоторый промежуток времени. Будет секундная пауза, не будет - почти фиолетово.

На прошлой странице colorito уже написал правильное решение - делать батчи, и за раз вытягивать небольшое количество страниц.

КакМаршрутник (http://goo.gl/forms/hMgaH0s9E5) — как маршрутник, но работает.
Предлагаю решение, защищающее от Парсим Яндекс без проблем Думаю продать сайт, тематика
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий