Проблемы с индексацией большого сайта (300.000 страниц) Гуглом.

12 3
P
На сайте с 28.11.2007
Offline
20
2128

День добрый!

Возникла такая беда: раскручиваю проект с очень большим каталогом товаров. В каталоге 300 тысяч страниц. Гугл начал индексировать его вроде бы успешно: проиндексировал около 50 тысяч. Но потом начало творится что-то непонятное: количество страниц в индексе то уменьшалось до 30 тысяч, то увеличивалось до 40. В конце концов в индексе осталось 6 тысяч страниц, и их количество продолжает уменьшаться. Сайт в сети уже около 4ех месяцев.

Также с первых мест повылетали все основные ключевые слова.

Я не могу понять в чем причина такого поведения Гугла. После последнего апа PR главной увеличился на 2 пункта. В Google Webmaster показывает, что все в порядке. Ни в каких сомнительных каталогах не регистрировался. Ссылками меняюсь только с тематическими ресурсами. Дорвеи, клоакинг и прочую дрянь не юзаю.

Поможет ли создание полной xml-карты сайта (6 файлов по 50к урлов, объединеных индексным файлом)? Если поможет, то подскажите, где можно сгенерировать карту с большим количеством урлов?

Помогите советом, очень прошу!

PC
На сайте с 28.08.2007
Offline
83
#1

Гугл считает большинство страниц Вашего сайта нечеткими копиями. Если есть страницы для печати, запретите их в robots.txt.

проект с очень большим каталогом товаров

уникализировать вряд ли удастся.

P
На сайте с 28.11.2007
Offline
20
#2

Нечеткие копии? Если честно, никогда о таком понятии не слышал.

Что касается уникализации, то я знаю несколько подобных проектов. Гуглом в них проиндексировано порядка 160.000 страниц, оформленных подобным образом, что и у меня - и все в порядке.

Какие ещё возможны причины? Может быть кто-то продублировал мой контент? Как Гугл банит за это? Хотя какой там контент: наименование товара, да стандартное описание к нему.

Насколько я знаю, песочница Гугла так не работает: она снижает выдаче в SERP, а не выкидывает из индекса. Кто-нибудь ещё может что-нибудь подсказать???

F
На сайте с 29.03.2005
Offline
70
fed
#3

Такая же беда. Сайту более двух лет.

Уменьшение количество страниц и падение ключевиков, случайно началось не в первых числах августа?

П.С. могу предположить что проблема в резком увеличении количества страниц.

P
На сайте с 28.11.2007
Offline
20
#4

2fed

Да, где-то с начала августа количество проиндексированных страниц начало падать.

Количество страниц не увеличивалось, их как было 300.000, так и осталось.

F
На сайте с 29.03.2005
Offline
70
fed
#5

Как пишет "tutonhamon_" - Гугл учит терпению!

Будем ждать.

П.С. пока жду, прикупил трастовых ссылок, если будут результаты сообщу.

Илья
На сайте с 22.08.2006
Offline
127
#6

Вы добавляли карту сайта в панель вебмастера гугля?

Варюсь в теме с 2005 года :-)
P
На сайте с 28.11.2007
Offline
20
#7

2Илья Алексеевич

Да, карту добавлял, но маленькую, буквально 15 урлов, до 2го уровня. Все эти урлы проиндексированы. Полную карту на 300.000 я не генерировал. Вы считаете, что это поможет?

2fed

Спасибо, буду ждать новостей.

S
На сайте с 20.07.2008
Offline
26
#8
Pavlick:
2fed

Да, где-то с начала августа количество проиндексированных страниц начало падать.

Количество страниц не увеличивалось, их как было 300.000, так и осталось.

А как давно был создан сайт? И как быстро было увеличено количество страниц?

svtim добавил 18.08.2008 в 17:38

svtim:
А как давно был создан сайт? И как быстро было увеличено количество страниц?

Тема в соседней ветке - /ru/forum/257903

Следует обратить внимание на пункт:

Слишком много страниц за раз ... если за раз на сайте появится 5000 страниц - то можно попасть под фильтр. Тогда этим страницам будет присвоен статус Omitted Results

Все, что сказано хорошо - мое, кем бы до этого оно не было сказано! Мое, правда, до этого это говорил и Сенека
S
На сайте с 17.10.2003
Offline
341
#9
svtim:
Тогда этим страницам будет присвоен статус Omitted Results

Это вообще не факт, да и оммитед накладывается не за кучу новых... скорее даже за кучу старых

Не все ссылки одинаково полезны ( https://www.svift.org/ ). Тут заказываю комментарии и отзывы ( https://qcomment.ru/ref/5651 ) для своих сайтов
P
На сайте с 28.11.2007
Offline
20
#10

Генерирую полную карту сайта на 300.000 страниц с помощью тулзы GSiteCrawler 1.23 уже работает 4 часа, а не прошла и пятой части. Может кто-нибудь знает способ побыстрее? Гугл предлагает питоновский скрипт, но мой сервер его не поддерживает, а сам я его установить к сожалению не могу. Да и не факт, что через этот скрипт будет быстрее и не положу сервер.

Сайт был создан около 4ех месяцев назад, каталог добавлен через 2 недели после выхода сайта в свет. Но насчет фильтров согласен с svift. Я никогда не слышал о том, чтобы за большое количество страниц можно было попасть в немилость.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий