BatchURLScraper - Извлечение данных методами XPath, CSSPath и RegExp

123 4
agrokomooo
На сайте с 14.06.2018
Offline
49
#11

chaser

приветствую, подскажи пожалуйста из-за чего может быть потеря вставляемых урлов?

все урлы имеют синтаксис: "https://site.ru"

беру список из 500 урлов, вставляю через "вставить из буфера", вставляется только 491 урл - копировал эти урлы из эксель и блокнота.

потом пробовал загружать уплы из txt файла, точно такая же потеря.

уменьшал количество вставляемых урлов - но все равно вставляет не все.

agrokomooo
На сайте с 14.06.2018
Offline
49
#12

chaser

подскажи пожалуйста, после окончания парсинга софт не выходит из режима парсинга и не дает скачать файл с результатами, такой баг появляется через раз: http://prntscr.com/13aqadp

возможно это подправить?

chaser
На сайте с 03.08.2005
Offline
214
#13
agrokomooo #:

chaser

приветствую, подскажи пожалуйста из-за чего может быть потеря вставляемых урлов?

все урлы имеют синтаксис: "https://site.ru"

беру список из 500 урлов, вставляю через "вставить из буфера", вставляется только 491 урл - копировал эти урлы из эксель и блокнота.

потом пробовал загружать уплы из txt файла, точно такая же потеря.

уменьшал количество вставляемых урлов - но все равно вставляет не все.

Возможно это возникает из-за дублей УРЛ.

Функция скрейпинга появится в новой версии программы SiteAnalyzer, так что в ней скорее всего данный баг будет исправлен.

SiteAnalyzer ( https://site-analyzer.ru/ ) - аналог Screaming Frog | Majento ( https://majento.ru/index.php?page=seo-analize ) - 70+ бесплатных сервисов SEO-аналитики
Romulez
На сайте с 24.03.2006
Offline
187
#14

интересный парсер... )

не хватает мануала к нему, ну или несколько кейсов в которых программа оказалось полезной ;) 

chaser
На сайте с 03.08.2005
Offline
214
#15
Romulez #:

интересный парсер... )

не хватает мануала к нему, ну или несколько кейсов в которых программа оказалось полезной ;) 

Совсем скоро добавим мануал с реальными примерами

А пока, можно пользоваться шаблонами для парсинга из этой статьи - https://site-analyzer.ru/articles/buscr/

FN
На сайте с 10.06.2015
Offline
90
#16

Здравствуйте. В программе как-то можно обойти 403 ошибку при проверке URL? На странице, с которой надо получить данные, подключен cloudflare. И, видимо, он вызывает ее.

ЛУЧШИЙ СЕРВИС ПО НАКРУТКЕ ПФ НА РЫНКЕ - https://bit.ly/3YNSlJy || Монетизация ЛЮБЫХ телеграм-каналов: https://bit.ly/41Fm0GP || Монетизация сайтов, где платят больше РСЯ - https://bit.ly/4lobASN
chaser
На сайте с 03.08.2005
Offline
214
#17
FaNaT_96 #:

Здравствуйте. В программе как-то можно обойти 403 ошибку при проверке URL? На странице, с которой надо получить данные, подключен cloudflare. И, видимо, он вызывает ее.

Здравствуйте. На данный момент никак, чуть позже займемся данной проблемой.
IB
На сайте с 15.12.2021
Offline
0
#18

Здравствуйте! 

Хочу узнать, как с помощью вашей программы скопировать ссылки на другие страницы с 1й страницы, чтобы при этом выдавались только нужные, т.е. установить некий фильтр, чтобы, допустим, из 300 ссылок на странице в результате были те, что нужны? 
Пример: есть сайт 

Школы Ростовской области | Конструктор сайтов образовательных учреждений 15kids
отсюда мне нужно скопировать все ссылки на школы, при этом, чтобы не было побочных ссылок. Как это сделать, помогите, пожалуйста!
И5
На сайте с 17.02.2022
Offline
0
#19
Здравствуйте, я так понимаю можно парсить с сайта по своим логином?

chaser
На сайте с 03.08.2005
Offline
214
#20
Илья582856 #:
Здравствуйте, я так понимаю можно парсить с сайта по своим логином?
Никаких логинов для парсинга не требуется.
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий