Сайт потолстел на 10тыс.стр в гугле. Как их найти?

N
На сайте с 25.07.2013
Offline
36
565

У сайта больше 200 тыс. страниц. Неожиданно гугл увеличил их до 210 тыс. Посмотрел в дублях через гугл-вебмастер - там тихо. Как найти эти новые 10тыс. стр.?

L
На сайте с 20.02.2014
Offline
37
#1

Составьте список страниц сайта какой-нибудь программкой (или сервисом) для поиска битых ссылок или составления карты сайта

Потом сравните получившейся список страниц с тем, что, по идее, должно быть. Может найдете лишнее

SmileP
На сайте с 18.02.2010
Offline
386
#2
Nikkin:
Как найти эти новые 10тыс. стр.?

Как вариант- операторами посмотреть в выдаче за последние Н дней на сайте.

N
На сайте с 25.07.2013
Offline
36
#3

еще есть методы?

L
На сайте с 20.02.2014
Offline
37
#4

Теоретически, можно распарсить выдачу Гугла, но что это даст? Если бы в вас был список страниц до добавления, то можно было получить разницу между ними. А так это бесполезно

Если, как советовал SmileP, указать последние N дней, то это уже имеет смысл :) и объем работы значительно сократиться :) Но точный список вы так не получите - Гугл выдаст не только новые страницы, добавленные за указанный период, но и старые, которые он переиндексировал за это время.

Urbanoid
На сайте с 20.03.2010
Offline
152
#5

Как Вы определили количество страниц? Если по надписи "Результатов:..." (или сервису, снимающему это значение), то скорее всего это значение неверное, причем намного. Откройте последнюю страницу выдачи, чтобы увидеть истинное количество страниц сайта в индексе.

rolex12
На сайте с 24.08.2013
Offline
45
#6
Urbanoid:
Как Вы определили количество страниц? Если по надписи "Результатов:..." (или сервису, снимающему это значение), то скорее всего это значение неверное, причем намного. Откройте последнюю страницу выдачи, чтобы увидеть истинное количество страниц сайта в индексе.

Вот, кстати, почему так происходит? Сам заметил, что если зайти на последнюю страницу выдачи, то количество проиндексированных страниц уменьшается иной раз в разы.

Urbanoid
На сайте с 20.03.2010
Offline
152
#7
rolex12:
Вот, кстати, почему так происходит? Сам заметил, что если зайти на последнюю страницу выдачи, то количество проиндексированных страниц уменьшается иной раз в разы.

Это особенности работы баз данных. Большинство СУБД не позволяют увидеть объем всей выборки не достигнув последней записи.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий