Как спарсить выдачу Яндекса по сайту?

SS
На сайте с 18.05.2009
Offline
18
1085

Здравствуйте.

Подскажите, пожалуйста, как можно спасить все проиндексированные Яндексом урлы сайта?

6uoncuxo3
На сайте с 05.11.2008
Offline
202
#1

Любым парсером, их нынче много, вот например. Ну и дальше: http://yandex.ru/yandsearch?clid=48648&yasoft=barff&text=site%3Aforum.searchengines.ru&lr=213

We all live in a sick world, where hatred is a weapon, and freedom - a dream. © На небе — Бог, на земле — Россия. © Сербская поговорка.
SS
На сайте с 18.05.2009
Offline
18
#2

И второй вопрос.

Спарсил. Как теперь все эти урлы скормить Сапе?

VoV@
На сайте с 22.09.2007
Offline
196
#3

SergSevero, а какой смысл всего этого действа не расскажете?

Может проще в самой сапе всё проиндексировать?

⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
SS
На сайте с 18.05.2009
Offline
18
#4

Почему-то на нескольких сайтах (интернет-магазины) Яндекс и Сапа находят по 1200-1400 страниц, но пересечений мало, итого в Сапе получается 200-300 проиндексированных страниц. Поэтому решил пойти таким путем.

Если можно сделать проще, расскажите, пожалуйста.

VoV@
На сайте с 22.09.2007
Offline
196
#5

Похоже у ботов проблемы с обходом сайтов, явно проблемы с навигацией.

Если с картой сайта всё в порядке и уровни вложенности страниц не > 3, поправьте перелинковку страниц.

В любом случае сапа добавит только те страницы, которые сможет проверить.

Prior
На сайте с 03.03.2008
Offline
194
#6

SergSevero, похоже у вас вообще нет карты сайта - добавьте её на сайт и будет вам счастие в виде всех страниц в сапе.

Только не забывайте об ограничении сапы на количество ссылок со страницы.

Ответы на вопрос - https://answers.net.pl

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий