Парсинг урлов из выдачи

F
На сайте с 04.06.2010
Offline
99
957

Всем привет! Заранее прошу прощение за возможно тупой вопрос, но что-то у меня мозга с мозгой не сходится. Я хочу получить списком все урлы из индекса сайта. Ввожу в яндекс host:site.ru, получаю 50к результатов, к примеру. Хочу собрать их все в одном файле. 

site.ru/1

site.ru/2

и так далее. Чем можно спарсить? 

-S
На сайте с 10.12.2006
Offline
1354
#1
Flaika :

Всем привет! Заранее прошу прощение за возможно тупой вопрос, но что-то у меня мозга с мозгой не сходится. Я хочу получить списком все урлы из индекса сайта. Ввожу в яндекс host:site.ru, получаю 50к результатов, к примеру. Хочу собрать их все в одном файле. 

site.ru/1

site.ru/2

и так далее. Чем можно спарсить? 

Проще используйте сервисы-анализаторы, которые сканируют выдачу. keys.so, ahrefs, semrush, megaindex, serpstat.

I3
На сайте с 20.07.2012
Offline
120
#2
Flaika :

Всем привет! Заранее прошу прощение за возможно тупой вопрос, но что-то у меня мозга с мозгой не сходится. Я хочу получить списком все урлы из индекса сайта. Ввожу в яндекс host:site.ru, получаю 50к результатов, к примеру. Хочу собрать их все в одном файле. 

site.ru/1

site.ru/2

и так далее. Чем можно спарсить? 

Для похожих задач я использовал прогу X-Parser-Light

C
На сайте с 08.05.2021
Offline
0
#3
И вправду почему не использовать программу?
Onecontent
На сайте с 02.05.2016
Offline
92
#4

В comparser от алаева есть схожий функционал. Показывает что проиндексировано яшей или гошей.


Создание и продвижение сайтов в Самаре ( https://onecontent.ru ) Автоаксессуары и тюнинг в Красноярске ( https://carbonado24.com )
F
На сайте с 04.06.2010
Offline
99
#5
Спасибо всем за ответы
c3po
На сайте с 24.08.2012
Offline
212
#6
Flaika :

Всем привет! Заранее прошу прощение за возможно тупой вопрос, но что-то у меня мозга с мозгой не сходится. Я хочу получить списком все урлы из индекса сайта. Ввожу в яндекс host:site.ru, получаю 50к результатов, к примеру. Хочу собрать их все в одном файле. 

site.ru/1

site.ru/2

и так далее. Чем можно спарсить? 

В Топвизоре инструмент Анализ конкурентов (страница Структура) — можно выгрузить в CSV все URL анализируемого сайта.


Топвизор — сервис поисковой аналитики (https://topvisor.com/ru/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий