Парсер liveinternet.ru

SM
На сайте с 02.07.2007
Offline
131
#41

не парсит ключевики.... :( вроде все правильно скопировал.. сайты посредством faind нашлись с открытой статистикой - а вот парсить скрипт отказывается напроч... выдает пустую страницу после начажия кнопки запустить (по истечению тайм аута)

найди путь для использования мира под свои нужды продается завод пищевой промышленности в Свердловской области!
.:nbd:.
На сайте с 04.11.2008
Offline
98
#42

В скрипте исползуется опция followlocation, на некоторых вдс (например firstvds) и хостингах он на доступна.

Палю тему Дорген (/ru/forum/439165) + кеи + контент (http://datarama.biz/) + еще немного кеев и скриптов (http://amazingsoftware.ru/) = $$$ Мы делаем доры, а не пишем романы (c) один Дима рефка dino_spomoni (http://goo.gl/w62v3)
F0
На сайте с 10.05.2009
Offline
9
#43

Fatal error: Call to undefined function: curl_init() in /home/far/c/u/c/site.ru/public_html/functions.php on line 6

Такую ошибку выдает на фришнике 😒 Подскажите в чем дело?

galadz
На сайте с 19.06.2008
Offline
17
#44
fanarik007:
Fatal error: Call to undefined function: curl_init() in /home/far/c/u/c/site.ru/public_html/functions.php on line 6

Такую ошибку выдает на фришнике 😒 Подскажите в чем дело?

curl на хостинге отключен

SM
На сайте с 02.07.2007
Offline
131
#45
.:nbd:.:
В скрипте исползуется опция followlocation, на некоторых вдс (например firstvds) и хостингах он на доступна.

а если пытаюсь поставить на денвер где эта функция включается?

PS curl включен

fhuuz
На сайте с 08.03.2009
Offline
247
#46

Как нибудь можно настроить на парсинг запароленных акков, если пароль известен? не подскажете?

SM
На сайте с 02.07.2007
Offline
131
#47

именно что extension=php_curl.dll в php.ini раскоментирована....

fhuuz а чем мешает на время парсинга поставить общедоступность если пароль известен? потом закончив закрыть обратно....

fhuuz
На сайте с 08.03.2009
Offline
247
#48
sasha_mtrx:
именно что extension=php_curl.dll в php.ini раскоментирована....

fhuuz а чем мешает на время парсинга поставить общедоступность если пароль известен? потом закончив закрыть обратно....

Вот здесь взгляните, возможно поможет разобраться

CURL

PS Насчет пароля здравая мысль...

newseditor
На сайте с 13.11.2006
Offline
123
#49

Вторая версия не совсем удобная. Во-первых, не спарсились сайты с открытой статой, хотя возможно просто по моему кею их и не было. Во-вторых, в первой версии было более удобно в один шаг, просто указал кей, а скрипт сам ищет сайты с открытой статой и выдает результат.

Кстати, в первой версии скрипта иногда при парсинге кеев скрипт выдает эту ошибку

Notice: iconv() [function.iconv]: Detected an illegal character in input string in /home/public_html/liru/functions.php on line 161

но продолжает работать, просто сразу перескакивает на 15-ю или 20-ю страницу кеев.

.:nbd:.
На сайте с 04.11.2008
Offline
98
#50
newseditor:
Вторая версия не совсем удобная. Во-первых, не спарсились сайты с открытой статой, хотя возможно просто по моему кею их и не было.

Тот парсер который Вы имеете ввиду - мод от lord_alfred (если его можно назвать модом, переписано им там было много). Я чесно говоря не хочу его ковырять =) Судя по приведенной ошибке там игнора не хватает.

В этой версии открытые статистики ищутся в Яндексе (далеко не все сайты с открытой статистикой участвуют в рейтинге Ливера), там внизу, под полем для ввода кеев, есть количество страниц для парсинга (по умолчанию 1 страница), попробуйте поставить 3-5 страниц. Парсить можно не по одному кею, а по нескольким кеям одной тематики(каждый новый кей с новой строки).

Кстати, раньше при парсинге кеев использовался буфер для спаршеных кеев и запись из буфера в файл, осуществлялась только после того как были спаршены все кеи. Если кому при парсинге статистик с большим количеством кеев это доставляет неудобства (падает инет, долго ждать и т.д.), можете пользоваться этой версией. Это последняя версия с записью кеев в файл "на лету". То есть то, что было спаршено сразу пишется в файл.

Несколько позже, думаю добавить пару полезных фишек - проверка количества страниц с кеями до начала парсинга (чтобы не получилось так, что запустили парсить пару-тройку стат с несколькими тысячами кеев и сиди, гадай когда все это добро спарсится). И вторая - работа с файлами из окна (не всегда удобно лезть по фтп, чтобы подправить список для парсинга).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий