Как узнать непроиндексированные страницы сайта?

-Leon-
На сайте с 04.10.2010
Offline
118
6671

Здравствуйте!

По сути весь вопрос в заголовке

Как узнать все НЕ проиндексированные страницы сайта?

Страниц много, поэтому по одной не получится...

Есть какой нибудь сервис или программа?

⭐Продам очень дешево 2 сайта в зоне .ru возраст сайтов 12 лет (в личку)⭐
V
На сайте с 18.04.2014
Offline
20
#1

присоединяюсь

Mish-ka
На сайте с 08.06.2011
Offline
414
#2

http://www.screamingfrog.co.uk/seo-spider/

Им можно спарсить ВСЕ страницы сайта, а потом отнять проиндексированные.

Проиндексированные можно спарсить так.

https://tech.yandex.ru/webmaster/doc/dg/reference/hosts-indexed-docpage/

Серч уже не торт => https://se.guru
-Leon-
На сайте с 04.10.2010
Offline
118
#3

Спасибо за совет.

Но все страницы моего сайта у меня есть.

Меня интересует как проверить те страницы, что НЕ проиндексированы.

Страницы проиндексированные можно найти с помощью RDS бара.

Как это все отсортировать???

В общем вопрос - как получить список Не приндексированных страниц в Яндекс и Гугл

Есть способ автоматизации? Интересует прога или сервис...

- Romanus -
На сайте с 20.01.2015
Offline
91
#4

-Leon-, алгоритм:

1) Парсите лягухой (ссылку дали) или любым другим аналогом все страницы своего сайта.

2) В вебмастере Яндекса выгружаете все страницы, которые есть в поиске.

3) В экселе сравниваете УРЛы и получаете список страниц, которых нет в индексе Яндекса.

Делаю SEO. Веду блог - Romanus.ru ( https://romanus.ru )
-Leon-
На сайте с 04.10.2010
Offline
118
#5
- Romanus -:
2) В вебмастере Яндекса выгружаете все страницы, которые есть в поиске.

Как это сделать в Гугл? Там же есть страницы которые НЕ в основном поиске...

- Romanus -:
3) В экселе сравниваете УРЛы и получаете список страниц, которых нет в индексе Яндекса.

Так в этом и вопрос, только ручками? Нет автоматизации? Страниц больше 3к...

Как вы ищите страницы которых нет в индексе?

Fringer
На сайте с 19.09.2012
Offline
82
#6
-Leon-:
Как это сделать в Гугл? Там же есть страницы которые НЕ в основном поиске...
Так в этом и вопрос, только ручками? Нет автоматизации? Страниц больше 3к...
Как вы ищите страницы которых нет в индексе?

заходим сюда http://seo.seocrm.net/

выбираем инструмент "Удаление одинаковых значений в разных столбцах (Excel)"

И получаем список страниц, которые непроиндексированы.

Естественно, для этого у вас должны быть список всех страниц и список проиндексированных.

или, устанавливаем софт отсюда http://www.recipdonor.com/rds-api

переходим на вкладку "анализ страниц доноров", загружаем туда список всех своих страниц и запускаем проверку.

вопрос решен?

-Leon-
На сайте с 04.10.2010
Offline
118
#7

Благодарю, это уже интересный ответ!

но в Гугл есть страницы, которые проиндексированы но не находятся в основной выдаче.

Этот вопрос как решаете?

IBakalov
На сайте с 05.10.2011
Offline
218
#8

Берете любой спайдер, сканируете свой сайт, получаете список URL.

Берете список URL и пробиваете каждый на индексацию в Google, получаете страницы в индексе и не в индексе.

Профит.

kysok sabaki
На сайте с 27.02.2008
Offline
200
#9

Для не проиндексированных в Яндексе, например, посредством программы БАЯн. Загружаете все url и запускаете аддурл, получаете список "Уже проиндексировано" и "Принято к индексации" - это, собственно, и будет список не проиндексированных + добавленных в Сообщить о новом сайте.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий