Как получить список страниц в индексе Яндекса?

12
P
На сайте с 06.01.2009
Offline
557
#11
TF-Studio:
яндекс-xml можно заюзать спокойно.

а там разве нет лимита 1000 урлов?

TF-Studio:

Если не выйдет - обращайтесь, есть у меня решения.

http://otlichnik.info/viewtopic.php?f=15&t=28
или вот по аналогии (там XML пример)

боюсь что сам не разберусь.

---------- Post added 27-08-2014 at 11:01 ----------

warwar01:
Качаешь свой сайт пейдж вейтом.
Потом все странички проверяешь на индексацию в Яндексе через xml.

Список урлов для проверки есть. Пока что не понял, как 5000 урлов проверить через xml.

IS
На сайте с 23.10.2013
Offline
35
#12
postavkin:

Список урлов для проверки есть. Пока что не понял, как 5000 урлов проверить через xml.

Быстрее всего будет проверить через http://www.recipdonor.com/rds-api, только придется потратить около 1$

P
На сайте с 06.01.2009
Offline
557
#13
IvanShishkin:
Быстрее всего будет проверить через http://www.recipdonor.com/rds-api, только придется потратить около 1$

Спасибо, только вот не вижу, что есть возможность получить список урлов (страниц) сайта в поиске яндекса.

---------- Post added 27-08-2014 at 11:24 ----------

Ладно, ребят, спасибо всем кто чем смог помог, видимо придется ещё на некоторое время "забить" на это моё пожелание. Нет гибкого решения.

IS
На сайте с 23.10.2013
Offline
35
#14
postavkin:
Спасибо, только вот не вижу, что есть возможность получить список урлов (страниц) сайта в поиске яндекса.

---------- Post added 27-08-2014 at 11:24 ----------

Ладно, ребят, спасибо всем кто чем смог помог, видимо придется ещё на некоторое время "забить" на это моё пожелание. Нет гибкого решения.

Вы же написали, что список для проверки есть. Просто нужно закинуть этот список в программу и она сделает проверки на индексацию каждой страницы.

Я обычно делаю так: парсю сайт с помощью xenu, чищу список, потом закидываю список на проверку индексации.

pro-maker
На сайте с 08.12.2003
Offline
243
#15
IBakalov:
Точный список получить практически не реально. Если сайт маленький (до 1000 страниц), то проблем нет, а вот если больше... Если у вас сайт с хорошей структурой, вида domain.ru/category1/, domain.ru/category2/ и все страницы соответствую это иерархии, то можно попробовать пробить через выдачу по конкретным разделам:
site:domain.ru/category1/
site:domain.ru/category2/

Что такое точность в данном случае? Соответствие количества проиндексированных страниц в Яндексе, полученное через язык запросов (еще есть в Вебмастере)? Эта циферка может извлекаться из нескольких мест и для больших сайтов может не соответствовать реальному количеству страниц в индексе. По моим прикидкам при полном переборе подстрок извлекается на 5-10-20% меньше.

pro-maker.ya.ru (http://pro-maker.ya.ru/)
P
На сайте с 06.01.2009
Offline
557
#16
IvanShishkin:
Вы же написали, что список для проверки есть. Просто нужно закинуть этот список в программу и она сделает проверки на индексацию каждой страницы.

Просто не нашел, куда именно нужно закидывать имеющийся список.

IBakalov
На сайте с 05.10.2011
Offline
205
#17
postavkin:
Разделы есть, но порядка 3000 урлов в корне сайта.

А у этих URL есть общие маски? Можно попробовать их выцепить по site:domain.ru inurl:maska, но конечно особой точности ждать не приходится. Кстати, если решите пробивать каждую отдельную страницу по url:domain.ru/page1.html, то это тоже не идеальный вариант далеко, при аудитах сайтов постоянно встречаю ситуации, когда у сайта в индексе есть ХХХ страниц, которых нет в структуре сайта (т.е. они не находятся обычным сканером).

pro-maker:
Что такое точность в данном случае? Соответствие количества проиндексированных страниц в Яндексе, полученное через язык запросов (еще есть в Вебмастере)?

Имел ввиду, что если сайт до 100 страниц, то по запросу site:domain.ru можно выкачать страницы, которые есть в индексе - точность стало быть хорошая. Если страниц много больше 1000, то уже такой трюк не катит, а значит в любом случае пострадает точность. По поводу соответствия индекса по site:domain.ru и того что есть в вебмастере - не проверял. По сути надо выкачать оттуда и оттуда, выбрать различия и проверить ищутся ли эти страница по url:domain.ru/page.html

Ты SEOшник/Дорвейщик/Вебмастер из Нижнего Новгорода? Вступай в группу на facebook.com (https://www.facebook.com/groups/1541112245943308/), будем устраивать offline-сходки.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий