Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Список не проиндексированных страниц

S
На сайте с 31.07.2008
Offline
29
Shred
541

Никогда ранее не стояла такая задача, поэтому пока не представляю как её решить. Есть сайт с 5000 страниц, около половины проиндексировано. Как максимально просто получить список страниц которых нет в индексе? Ясно что можно в лоб сначала сграбить все свои страницы, потом отпарсить выдачу ПС, но как потом их на автомате отсеять? Спасибо.

Fruit
На сайте с 15.07.2008
Offline
166
Fruit
#1

Сграбить все страницы. Проверить каждую на индексацию.

S
На сайте с 31.07.2008
Offline
29
Shred
#2
Fruit:
Сграбить все страницы. Проверить каждую на индексацию.

Ну ясно что нужно проверить, только чем? Не вручную же, страниц 5000

Fruit
На сайте с 15.07.2008
Offline
166
Fruit
#3

Для проверки списка урлов на индексации есть 100500 бесплатных софтин. Больше проблем с проксями.

S
На сайте с 31.07.2008
Offline
29
Shred
#4
Fruit:
Для проверки списка урлов на индексации есть 100500 бесплатных софтин. Больше проблем с проксями.

Я не использовал такой ни одной, если не трудно хотябы парочку названий таких более мение достойных. Спс.

komyak
На сайте с 20.01.2009
Offline
62
komyak
#5

Зачем столько прокси? :)

Сграбить выдачу через форму или XML и потом сравнить ссылки с картой сайта.

Скрипт или программа пишутся за 10 минут, цена макс 5-10$

Скидка на Зеброид 10%: 6347421FB0036DBA Купить Xrumer (http://www.botmasterru.com/xrumer/?p=xrumers) - поднимись в ТОП Купить А-парсер (http://a-parser.com/?ref=772) - лучший парсер всего))
S
На сайте с 31.07.2008
Offline
29
Shred
#6
komyak:
Зачем столько прокси? :)
Сграбить выдачу через форму или XML и потом сравнить ссылки с картой сайта.
Скрипт или программа пишутся за 10 минут, цена макс 5-10$

нафига писать велик, такой 100% уже сделали, вот и прошу написать название софта ...

B
На сайте с 03.07.2008
Offline
48
BFox
#7

Shred,

1. Ставишь SeoQuake

2. создай страницу со всеми урлами (типа сайтмапа).

3. на этой странице открываешь все внутренние урлы в (Int.links кнопка в баре)

и жмешь проверить на индексацию :)

Я не создаю сайты - я делаю их лучше (QA)
S
На сайте с 31.07.2008
Offline
29
Shred
#8
BFox:
Shred,
1. Ставишь SeoQuake
2. создай страницу со всеми урлами (типа сайтмапа).
3. на этой странице открываешь все внутренние урлы в (Int.links кнопка в баре)
и жмешь проверить на индексацию :)

вот спасибо, то что мне нужно, щас попробую.

ЗЫ QAшники сразу поймут друг друга :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий