Форум Практика оптимизации Сервисы и программы для работы с SE

Сервис по сбору непроиндексированных страниц сайта

12
Badmaestro
На сайте с 11.07.2008
Offline
258
Badmaestro
#11

Друзья! А если нет списка урлов?

Какой программой/сервисом лучше воспользоваться, чтобы чекнуть все страницы сайта и выявить из них, какие проиндексированы, а какие нет?

SEO без воды ( https://kupit-slona.ru ) Продвижение сайтов ( https://searchengines.guru/ru/forum/1038146 ) Аренда грузинского Adsense ( при доходе от 1000$ в мес. Adsense активирован, выплаты идут. )
CA
На сайте с 27.12.2013
Offline
68
c-alex
#12

Такой сервис не трудно сделать для яндекса.

1) в яндекс XML можно вывести одним запросом 100 URL вашего сайта, стоит 1 лимит.

1 000 URL - 10 лимитов.

10 000 URL - всего-лишь 100 лимитов.

2) если у сайта есть sitemap.xml парсим из него все URL

3) если у нас есть все URL из яндекса, и все URL из sitemap - можно выделить URL'ы которых нет в яндексе но есть в sitemap - это и будут непроиндексированные страницы.

Если найдется спонсор, могу сделать PHP скрипт.

Кто может помочь разобраться Генерация sitemap.xml Почему большая разница в
Злобный Гыук
На сайте с 30.08.2007
Offline
83
Злобный Гыук
#13
c-alex:
Такой сервис не трудно сделать для яндекса.
1) в яндекс XML можно вывести одним запросом 100 URL вашего сайта, стоит 1 лимит.
1 000 URL - 10 лимитов.
10 000 URL - всего-лишь 100 лимитов.

2) если у сайта есть sitemap.xml парсим из него все URL

3) если у нас есть все URL из яндекса, и все URL из sitemap - можно выделить URL'ы которых нет в яндексе но есть в sitemap - это и будут непроиндексированные страницы.

Если найдется спонсор, могу сделать PHP скрипт.

проблема лишь в том, что Яндекс не выдает больше 1000 результатов по любому запросу...

SEO-api для программистов (/ru/forum/869285)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий