Как проиндексировать очень большой сайт?

123 4
S
На сайте с 18.07.2007
Offline
90
3560

Есть очень большой сайт - в сумме больше 5 млн. страниц, требуют индексации чуть более 2 млн., остальные не так важны. Существует 9 месяцев, в Гугле было максимум 35000, сейчас 29000. Сайт - каталог определенной продукции (малоконкурентный). Все базовые требования соблюдены - "человеко-понятные" URLы, все titles, describes и keywords разные. По мере возможности сделали разными и страницы продуктов, хотя, конечно, всё делается одним скриптом из БД. При таких объемах достоверно неизвестно, какие страницы Гугл посещал и какие есть в индексе. Хотя гуляет там Гугл в количестве 4-5 ботов постоянно. Сделан динамически генерируемый sitemap.xml в количестве 25000 ссылок на страницы, при каждом заходе гугл получает новый вариант (по идее, рано или поздно должен получить ссылки на все страницы). Находящиеся в индексе страницы успешно генерируют мало-мальский трафик (порядка 100 человек в сутки с 30000 страниц), все запросы - низкочастотные. Другого шанса поднять посещаемость кроме как проиндексировать все страницы у этого сайта нет, высокочастотных запросов на них нет и не будет. Есть же сайты подобных размеров, находящиеся полностью в индексе. Что надо сделать, чтобы гугл проникся и проиндексировал? Я думал поставить побольше ссылок - но ссылки на внутренние страницы ставить смысла нет, их слишком много. Имеет ли смысл навалить кучу ссылок на главную? И хотелось бы услышать другие идеи.

K
На сайте с 31.01.2001
Offline
737
#1

Все как обычно, безупречная структура, хорошая навигация, горы хороших ссылок.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
[Удален]
#2

Как можно было такое кол-во страниц сделать?

S
На сайте с 18.07.2007
Offline
90
#3
Trofa:
Как можно было такое кол-во страниц сделать?

Миллион китайцев наняли :-) Просто очень большая номенклатура.

Soarer добавил 21.05.2010 в 12:22

Kost:
Все как обычно, безупречная структура, хорошая навигация

Да вроде ниче... Хотя переходами по ссылкам найти все 2 млн. сложно. Для этого и был сделан sitemap.

Kost:
горы хороших ссылок.

Куда должны вести ссылки? На главную, чтобы поднимать ценность всего сайта? Или на вложенные? На все вложенные поставить у меня денег не хватит :-)

TS
На сайте с 26.06.2008
Offline
36
#4

рекомендую линки с других сайтов вести на внутренние страницы

CenaMashin.ru (http://cenamashin.ru) - Сколько стоит твоя машина?
K
На сайте с 31.01.2001
Offline
737
#5
Soarer:
Хотя переходами по ссылкам найти все 2 млн. сложно.

Это плохо. Структура - это разделы, удобные сортировки. Внутри сайта должны быть странички для прокачки. Это тоже относится к структуре. Поглядите еще более крупные магазины, чем ваш.

Soarer:
динамически генерируемый sitemap.xml в количестве 25000 ссылок на страницы

Делайте лучше вложенные сайтмапы, раз столько страниц.

S
На сайте с 18.07.2007
Offline
90
#6
Kost:

Делайте лучше вложенные сайтмапы, раз столько страниц.

А можно подробнее? Куда вложенные?

S
На сайте с 03.12.2007
Offline
56
#7
Есть же сайты подобных размеров, находящиеся полностью в индексе. Что надо сделать, чтобы гугл проникся и проиндексировал?

Ответ прост: проанализировать их! Так вы поймёте каким образом они добились этой индексации.

динамически генерируемый sitemap.xml в количестве 25000 ссылок на страницы

В один сайтмеп можно добавить очень много сайтмепов, и в каждом из этих сайтмепов могут быть до 50к ссылок.

Таким образом вы можете загрузить в гугл все свои страницы, а не всего 25к.

Бурж. Dating (http://www.date4affiliate.com/affiliate/join.php?ref=QB1030610) партнёрка с отличным конвертом. | Обменяюсь бурж. мордами пр4-6
S
На сайте с 18.07.2007
Offline
90
#8
svaxa:

В один сайтмеп можно добавить очень много сайтмепов, и в каждом из этих сайтмепов могут быть до 50к ссылок.
Таким образом вы можете загрузить в гугл все свои страницы, а не всего 25к.

Уже второй человек мне говорит об этом, но я никак не могу понять, как это сделать. Внутри сайтмэпа поставить ссылку на еще один/много сайтмэпов? Впрямую на странице гугла, посвященной сайтмэпу, про это не написано.

Rus Ivan
На сайте с 17.05.2007
Offline
241
#9
Soarer:

Куда должны вести ссылки? На главную, чтобы поднимать ценность всего сайта? Или на вложенные? На все вложенные поставить у меня денег не хватит :-)

На внутряки + сайтмапы.

Попробуйте найти большие динамические сквозняки и, конечно же, внутреняя перелинковка

Rus Ivan добавил 21.05.2010 в 16:36

Soarer:
Уже второй человек мне говорит об этом, но я никак не могу понять, как это сделать. Внутри сайтмэпа поставить ссылку на еще один/много сайтмэпов? Впрямую на странице гугла, посвященной сайтмэпу, про это не написано.

Просто закрузите в гугл несколько сайтмапов

H
На сайте с 15.02.2010
Offline
105
#10
Soarer:
Внутри сайтмэпа поставить ссылку на еще один/много сайтмэпов?

да, именно так. В главном сайтмапе много ссылок на другие сайтмапы, в которых тоже могут быть ссылки на сайтмапы. Есть плагин к одному популярному форуму, именно по такому принципу и работает. Гугль доволен, в панели вебмастера автоматически появляются новые сайтмапы, взятые по ссылкам из главного.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий