Как добиться быстрой [пере]индексации большого сайта?

Первое чт оприходит - сделать карту хорошенькую.

Можно сделать на жирной внутренней, или главной (если ссылок немного) страницы, а на ней вывести все ссылка на страницы ,которые необходимо проиндексировать заново

AiK, слухайте, а если ваш большой сайт по частям вынести на поддомены, и все их добавить как разные сайты чтоб не склеялись, не пойдет?

Sla_Dom, ну, допустим, на маломеняющемся сайте можно ещё и 304 Not Modified управлять индексацией. А если на сайте, допустим, ежедневно публикуется несколько десятков новостей? А раздел, который нуждается в переиндексации в общем-то статичный?

jED R., для Гугля такой вариант вполне подойдёт. Т.е. можно вынести раздел на поддомен и сделать 301-й редирект, чтобы не терять внешние ссылки. А вот с Яндексом непонятки. Если я правильно помню, то пока поддомен не описан в Я.К. он расценивается Яндексом как подкаталог. Кстати, похоже решение найдено :) Вынос на поддомен + регистрация его в Я.К. должно помочь. Кто-нибудь пробовал на практике?

Частенько видывал что разбивали разделы не на поддомены, а на домены, как к примеру делают крупные организации разбивая сайты на департаменты, т.е. dep1-jedcorp.com, dep2-jedcorp.com, такое популярно у буржуев, но не думаю что это задумка с целью подстроиться под ботов :)

Такое по идеи и в каталог охотнее возьмут.

AiK, берем гесты (ну любые доступные ссылки, к примеру), и кидаем по нужным разделам.

Вот так и становятся спамерами 😂

AiK, вынести через robots, дождаться и добавить заново?

Постараюсь максимально сократить количество букв.

Исходные. Есть сайт, разработчики которого оказались людьми весьма креативными. Сайт обновляется еженедельно. В момент обновления документы (100-250 шт.) получают "временный" урл, а те, которые висели на гл.странице до этого, вместо данного "временного" получают статичный урл. При этом смена урла происходит 302-м редиректом. В программировании и пр. я близок к дауну, поэтому об этой замечательной особенности задумался только после полугодового наблюдения за белибердой, которая творилась в серпе. Да и понял еще не все, но мне уже достаточно. Когда осознал, начал ставить в огромном количестве ссылки с новых документов на те, которые уже получили статичный урл. С особо важными страницами еще и развлекаюсь колупанием в архивах, откуда тоже ставлю ссылки. Ситуация кардинально изменилась - в серпе стало поприличнее, количество проиндексированных страниц растет. Для чистоты эксперимента сейчас сознательно теряю тиц, ссылочное и пр. (на "временные" урлы постоянно появляется приличное количество естественных бэков, которые после апов по понятным причинам помирают, если не скопипащены вместе с моими "внутренними"). Через пару-тройку недель статичные урлы будут появляться сразу - эксперимент уже считаю удачным.

По накопившемуся опыту могу сказать, что Яндекс полностью переиндексировал страницы, на которые я ставил ссылки, в течение 1-6 недель. Сайт большой (несколько десятков тысяч страниц), но естественно, задача полной переиндексации пока не стоит - если ставить ссылки на кажду страницу вручную, то проживу не долго и не счастливо. Уже переиндексировалось порядка 1-1,5 тыс. страниц.

Автоматизация процесса, на мой взгляд, не так, чтоб невыполнимая задача. Естественно, даже после автоматизации будет много ручной работы, но она не будет такой тупой, как то, чем я сейчас занимаюсь (при заливке на сайт поиск-просмотр-ссылка). Существенных плюсов два - можно добавлять страницам, которые необходимо переиндексировать, веса по низкочастотникам. Ежедневное обновление в данном смысле - огромнейший плюс.

Правда, сайт, который описываю, довольно "авторитетный" + большое количество постоянно появляющихся внешних ссылок, с помощью которых можно решать аналогичные задачи. Если вес невысок, то ждать, наверное, придется дольше.

У меня гугль и так индексирует по 50.000 страниц в день, так что ничего делать не приходится. С яндексом, когда стояла задача быстро переиндексировать, я добавил зеркало сайта под другим доменом, которое за 2 месяца успешно переиндексировалось и склеилось с основным сайтом.

IMHO меньше чем за 2-4 месяца заставить яндекс переиндексировать такое количество страниц не получится.

На практике у Professor'а примерно так реализованы его "кольца". На мой взгляд это самый лучший вариант. Также подходит вариант, как уже говорил jED R. по разносу разделов по отдельным доменам.