Форум Сайтостроение Веб-строительство

Работа парсера

E
На сайте с 13.08.2007
Offline
0
exiprog
695

Написал парсер, который работает через Яндекс XML, в общем, парсер работает хорошо, но когда отправляется много запросов, некоторые значения не могут быть определены.

Из-за чего может такое быть?

Shtogrin
На сайте с 02.11.2006
Offline
95
Shtogrin
#1

Много это сколько? Это читали http://help.yandex.ru/xml/licence.xml

www.shtogrin.com (http://www.shtogrin.com/). Канцтовары (http://www.invit.com.ua/). 1С Бухгалтерия (http://account.kiev.ua/).
E
На сайте с 13.08.2007
Offline
0
exiprog
#2
Shtogrin:
Много это сколько? Это читали http://help.yandex.ru/xml/licence.xml

около 500, я читал лицензию.

SF
На сайте с 11.10.2005
Offline
137
SellingFeis
#3

Возможно чуш сказал...

Поэтому решил потереть...

Извините...

Инструкция: Как Правильно Делать Сайты: Домен, Хостинг, Установка CMS (http://www.3sd.ru/kak-delat-site/index.php).
E
На сайте с 13.08.2007
Offline
0
exiprog
#4

Я предположил, что запросам элементарно нехватает времени, поставил sleep(1), теперь ошибок нет, но некоторые сайты не считаются совсем. Из-за чего такое может быть?

ЗЫ: в начале файла у меня стоит set_time_limit(0);. Возможно мне еще что-то необходимо прописать, связанное со временем выполнения скриптов?

Как сообщить поисковому роботу, Google Search Console по Google обновил Руководство по
gorynchik
На сайте с 25.05.2007
Offline
100
gorynchik
#5

Вообще-то php выдает ошибку, если сервер обрубил его по времени выполнения скрипта.

Попробуйте добавить в скрипт многопоточность, используя например multicurl или запуская бинарники php из скрипта

mxp100
На сайте с 20.12.2006
Offline
49
mxp100
#6

или вписать

ini_set('max_execution_time','9999');

ignore_user_abort(true);

E
На сайте с 13.08.2007
Offline
0
exiprog
#7

подскажите пожалуйста как организовать многопоточность.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий