Программа для сбора данных

123
NEWProject
На сайте с 16.01.2011
Offline
102
#11
Виталий Макаркин:
Коллеги, кто знает есть ли в природе такой парсер:

б) парсит данные (по url) из яндекс-карт, возможно и 2гис еще (например если в яндекс-картах не найдет).
в) сохраняет в Excel файл.

?

или две программы например, одна один вторая второй функционал делает

Яндекс карты ввели ограничение на выдачу результатов, если не ошибаюсь то 20 значений.

2 Гис можно Датаколом собирать и сохранять в ексель

Универсальный парсер Datacol, скидка 20% и ПРОЕКТ в ПОДАРОК!! (https://bestweb4u.net/skidka-na-datacol/) БЛОГ о парсинге, Datacol! (https://bestweb4u.net/) Купить прокси для парсинга от 33р. Купон на скидку Y23y4sXqYP (https://proxy6.net/?r=55325)
Виталий Макаркин
На сайте с 24.06.2011
Offline
99
#12
NEWProject:
Яндекс карты ввели ограничение на выдачу результатов, если не ошибаюсь то 20 значений.
2 Гис можно Датаколом собирать и сохранять в ексель

Мне что нужно:

1) Собрать URL по запросу все что есть Яндекс + Гугл

2) Прочекать каждый домен по ЯндексПоискПоОрганизациям (и видел что до 500 api запросов в сутки дают), ну и если тут не найду прочекать по 2ГИС

3) Сохранить нужные данные в CSV.

Как лучше реализовать? Писать свое, или DataCol смотрю вроде мощный инструмент. Может просто купить его он справится с этим?

“Инновации отличают лидера от последователя” Steve Jobs Аудит сайта. Семантическое ядро. Анализ рынка. Продвижение. (/ru/forum/684396) Виталий Макаркин
NEWProject
На сайте с 16.01.2011
Offline
102
#13

Писать свое это заказывать парсер под ваши нужны, если бюджет позволяет то можно. Но учтите, что если где-то сменится структура сайта или верстка то нужно будет привлекать снова специалиста (если конечно сами этим не занимаетесь).

Если брать Датакол, то главное 1 раз настроить проект/проекты, далее вы уже сами с минимальными знаниями можете подправлять его под ваши нужды.

1) Выдачу конечно проще парсить спец софтом, вроде серп парсера, но можно настроить и Датакол

2) По Яндекс справочнику есть наработки, там реальней парсить, хотя если вам только искать по домену, то можно искать и в справочнике и по карте

3) 2Гис также можно

Виталий Макаркин
На сайте с 24.06.2011
Offline
99
#14
NEWProject:
Писать свое это заказывать парсер под ваши нужны, если бюджет позволяет то можно. Но учтите, что если где-то сменится структура сайта или верстка то нужно будет привлекать снова специалиста (если конечно сами этим не занимаетесь).
Если брать Датакол, то главное 1 раз настроить проект/проекты, далее вы уже сами с минимальными знаниями можете подправлять его под ваши нужды.
1) Выдачу конечно проще парсить спец софтом, вроде серп парсера, но можно настроить и Датакол
2) По Яндекс справочнику есть наработки, там реальней парсить, хотя если вам только искать по домену, то можно искать и в справочнике и по карте
3) 2Гис также можно

датакол закроет все вопросы? я просто с теме парсинга еще новичок) Если у кого еще будут мысли напишите) спасибо)

NEWProject
На сайте с 16.01.2011
Offline
102
#15

Датакол очень гибкий парсер с возможностью расширения с помощью плагинов.

Скачайте демку, она полнофункциональная, но сохраняет до 25 результатов, для теста хватит и поймете что к чему. Там в комплекте приличный набор готовых настроек

Виталий Макаркин
На сайте с 24.06.2011
Offline
99
#16

Так парсит SERP парсер всю выдачу как мне надо (абсолютно всю по запросу) или нет?

NEWProject
На сайте с 16.01.2011
Offline
102
#17
Виталий Макаркин
На сайте с 24.06.2011
Offline
99
#18
NEWProject:
ДА - http://prntscr.com/dxs8md

В упор не вижу как мне все это дело в Excel экспортировать) Все пересмотрел.

У меня только 19 Участниках и отображается и Экспортируется... По идее там должно до 1000 ссылок быть

B
На сайте с 19.06.2010
Offline
119
#19

Виталий Макаркин, если эти настройки сделаны

/ru/forum/comment/14877972

и позиции экспортированы так

/ru/forum/comment/14878098

то в результате должна получиться вся выдача.

Определение позиций сайта в поисковых системах (http://serpparser.ru)
Виталий Макаркин
На сайте с 24.06.2011
Offline
99
#20
byterus:
Виталий Макаркин, если эти настройки сделаны
/ru/forum/comment/14877972
и позиции экспортированы так
/ru/forum/comment/14878098
то в результате должна получиться вся выдача.

да теперь все норм.

Вопрос а можно экспортировать точный найденный URL еще а не только сам домен? Или программа не сохраняет эти данные?

---------- Добавлено 20.01.2017 в 16:27 ----------

И вопрос 2: программа дает BAN, хотя задержки увеличил со стандартных до 10 000 - 13 500. Есть идеи почему? ********а автоматом через antigate.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий