Реиндексация 50000 страниц

chudinov
На сайте с 28.10.2005
Offline
101
1193

Приветствую!

Есть сайт, с посещаемостью ~ 70 000 уников

число проиндексированных страниц в базе ya.ru более 48000

Нагрузка была по трафу немеренная, индексация проводилась со скоростью звука :-)

На картинке момент, когда сделали апдейт движка :-)

Постоянно были в логах и быстроробот и зеркальщик любил похаживать...

Переписали движок сайта - готов поделиться успехом...

Коллеги! Такого я еще не видел. Разница в нагрузке до и после, как в сказке. Это не потому, что ранее версия была кривая, а потому, что обновленная версия просто золото (комбинация PHP5 + Ajax + PostgrSQL + nginx).

Старые урлы созранить неудалось... :gm: т.к. политика поменялась, хоть там и был PR5 у всех разделов, ссылки с которых стояли в шаге от корня.

Коллеги, как грамотнее сделать реиндексацию? Сейчас я в robots.txt закрыл индексацию сайта и подал маляву на удаление сайта из базы Яндекса.

Как поступить, учитывая что новые сайты сейчас не очень охотно индексируются?

gif up.gif
# rm -rf *
Каширин
На сайте с 03.01.2004
Offline
1030
#1

Коль, карта сайта, добавить вручную. Но ее надо раздробить на несколько страниц, иначе не станет индексировать. Внешние ссылки на разделы.

Santim
На сайте с 03.06.2006
Offline
105
#2
Каширин:
Но ее надо раздробить на несколько страниц, иначе не станет индексировать

Т.е. налицие карты сайта такого большого объема может усугубить положение? Или всё же индексация будет проходить но малыми темпами?

Каширин
На сайте с 03.01.2004
Offline
1030
#3
Santim:
Т.е. налицие карты сайта такого большого объема может усугубить положение?

Дело не в этом. Есть письмо Платона, в котором утверждается, что Яндекс не станет индексировать документ, в котором 200 ссылок. Я сделал смелый вывод из этого, что документ с 50к ссылками - тем более не станет :)

Santim
На сайте с 03.06.2006
Offline
105
#4
Каширин:
Есть письмо Платона, в котором утверждается, что Яндекс не станет индексировать документ, в котором 200 ссылок.

А внем дается сноска на то которые он всеже будет индексировать не смотря на такое количество ссылок? Ну к примеру онлайн представительство газет/журналов и т.д. По большому счету у них точно есть такой список, может быть сайт chudinovа попадает под это.

ExcelioN
На сайте с 13.08.2006
Offline
55
#5

Имел похожую проблему, поступил как топик стартер и уже месяц жду переиндексации.

Посещаемость сайта у Вас хорошая, сам сайт наверно также хороший, поэтому спишитесь с яндексом по мылу и спросите как лучше поступить.

Именно так бы я поступил если бы заново была такая проблема. Сейчас занял позицию выжидания т.у. времени много прошло и даже чисто теоретически он скоро должнен заново переиндексироваться

chudinov
На сайте с 28.10.2005
Offline
101
#6

Платону написал, ждемсъ

По поводу карты, согласен -это будет реализовано после того, как будут сегодня организованы реврайты под ЧПУ

D
На сайте с 21.06.2006
Offline
168
#7

Я делаю редирект 301 со старых ссылок на новые.

При большом количестве ссылок, лучше вешать обработчик на 404, который будет лезть в базу и искать новую ссылку.

Временно будет дополнителная нагрузка, зато сайт не выпадет из индекса надолго.

Appstorespy - платформа анализа мобильных сторов | Publa.io - готовая инфраструктура для приема платежей и оплаты рекламных кабинетов в бурже
ExcelioN
На сайте с 13.08.2006
Offline
55
#8

Если нетрудно, можно ответ Платона в эту тему опубликовать?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий