Список проиндексированных страниц

12
T9
На сайте с 01.12.2011
Offline
10
1227

Подскажите, какой программой можно вытащить список проиндексированных страниц из индекса гугла и сравнить их с sitemap.xml?

Sower
На сайте с 30.12.2009
Offline
659
#1

хрефер )

__________________Бесплатная накрутка ПФ: посещаемость, просмотры, переходы с поисковиков по ключевикам, итд.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
T9
На сайте с 01.12.2011
Offline
10
#2

Я так понимаю это платная программа? Где можно скачать нормальный версию с кряком? Нашел какую-то но после того как нажал парсить она зависла =(

Sower
На сайте с 30.12.2009
Offline
659
#3

Зачем оно вам вообще надо? Вы всё ровно не заставите гугл взять в индекс больше страниц, чем он желает.

T9
На сайте с 01.12.2011
Offline
10
#4

Мне наоборот нужно заставить его выплюнуть, то что ему не разрешали индексировать. Приходиться теперь вручную дубли искать и удалять.

Sower
На сайте с 30.12.2009
Offline
659
#5

А как его заставишь... Три месяца назад в robots.txt поставил запрет на индексацию одной категории страниц + в метатегах прописал noindex - куча этих страниц до сих пор в индексе.

T9
На сайте с 01.12.2011
Offline
10
#6

Гугл>Инструменты для веб-мастеров>Доступ для сканера>Удалить URL, только так можно. Всё что я выставил в роботсе учитывает только яндекс, а вот гугл тупо забивает на него. Поэтому сейчас приходиться вручную каждую страницу проверять, хорошо хоть на сайте пока 300 страниц.

Sower
На сайте с 30.12.2009
Offline
659
#7
tLs95:
Гугл>Инструменты для веб-мастеров>Доступ для сканера>Удалить URL

Эта функция только для экстренного удаления. Если напихать туда кучу урлов, то они не выполняют удаление, я пробовал как-то.

T9
На сайте с 01.12.2011
Offline
10
#8

Sower, о какой кучи идет речь? Я добавил где-то 124 в течении нескольких дней, всё удалилось. Некоторые из них были каталогами, что упростило задачу. Однако все-равно остались урлы такого типа:

http://site.ru/svezhie_novosti.html

http://site.ru/news/svezhie_novosti.html

Если бы все новости были бы добавлены в категории, то можно было бы удалить на раз такое. А так приходиться переходит с выдачи на сайт и смотреть добавлена ли в категорию и тд. При большом объеме страниц это просто нереально будет сделать.

Еще заметил, что гугл как бы удалил новости. Но в выдаче показывает всё-равно результат "About 445 results (0.09 seconds)", переходишь на последнюю страницу выдачи и показывает уже "Page 27 of 269 results (0.12 seconds)".

golf4man
На сайте с 16.08.2010
Offline
136
#9
tLs95:
Sower, о какой кучи идет речь? Я добавил где-то 124 в течении нескольких дней, всё удалилось. Некоторые из них были категориями, что упростило задачу. Однако все-равно остались урлы такого типа:

http://site.ru/svezhie_novosti.html
http://site.ru/news/svezhie_novosti.html

Если бы все новости были бы добавлены в категории, то можно было бы удалить на раз такое. А так приходиться переходит с выдачи на сайт и смотреть добавлена ли в категорию и тд. При большом объеме страниц это просто нереально будет сделать.

Еще заметил, что гугл как бы удалил новости. Но в выдаче показывает всё-равно результат "About 445 results (0.09 seconds)", переходишь на последнюю страницу выдачи и показывает уже "Page 27 of 269 results (0.12 seconds)".

Жесть. Тоже самое. Думал я один с такой бедой.

Я и в robots закрыл и через панель вебмастера все urlы удалил. По-началу все было гуд, сопли пропали, а сейчас ситуация повторилась.

T9
На сайте с 01.12.2011
Offline
10
#10

golf4man, у меня немного другая ситуация. Гугл показывает изначально "About 445 results (0.09 seconds)", т.е. последний урл будет на 44 странице в поиске. Щелкаю эти страницы, и доходит только до 27 потому что остальные из индекса я исключил через "удаление урла", но не понятно почему гугл сразу не показывает результат "About 269 results (0.12 seconds)". Из-за такой фигни во многих сервисах показывает, что в соплях намного больше страниц и соответственно процент находящихся в основной выдаче меньше.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий