Как индексировать миллионы страниц?

1. Краулинговый бюджет ограничен для каждого сайта. Чем сайт старше, крупней, популярней, трастовей, чем там больше трафика - бюджет будет больше, соответсвенно и робот будет за раз проходить и индексировать больше страниц. Поэтому новые сайты могут медленно заходить в индекс.
   
2. На крупных сайтах есть проблема не только в первичной индексации. Многие забывают про ПЕРЕиндексацию при внесении изменений. Так вот переиндексация занимает в разы больше времени, чем первичная индексация.

Делал крупные сайты по нескольку лямов страниц и натыкался на эти грабли. Риск тут в разы больше, чем на средних/мелких сайтах. Чуть какой косяк будет обнаружен, исправите вы его быстро, а вот в кэше поисковиков старая версия будет висеть месяцами. А в зависимости от тяжести "нарушения" можно и фильтр словить.

Поэтому мой вам совет - добавлять страницы на сайт пачками. Или открывать их для индексации пачками, но лучше первый вариант. Что вы добавляете в сайтмап должно коррелироваться с тем, что есть на сайте. Если на сайте будет лям страниц, а в сайтмапе 100, боты будут находить страницы по ссылкам с других страниц. Сайтпам - это лишь карта для удобства. Но страницы могут в индекс залетать и минуя эту карту.

Почему стоит добавлять страницы постепенно:

• Во-первых, так проще контролировать индексацию и постепенно наращивать объемы. Поисковики любят движ, когда сайт растёт, контент добавляется.
• Во-вторых, в случае косяков, лучше их заметить и исправить на ранних стадиях, когда страниц не много, чтобы новые попадали в индекс уже исправленные, а старые могли быстрей переиндексироваться.

По сабжу: google indexing api и indexnow для яндекса и бинга. Либо сервисы индексации, но с крупными объемами может быть неоправданно дорого.

И еще важнецкий момент.

Для чего делается справочник? Для пользователей или для поисковиков и для попытки нарастить траф?

Если сайт изначально крупный, популярный, есть ядро постоянных посетителей, которые реально пользуются сайтом и справочник - это то, что они хотят и чем будут пользоваться, то можно добавлять всё сразу и не париться сильно, поскольку для подобных вещей поисковики более снисходительны и прощают популярным порталам многие ошибки.

Есть такая тенденция: чем сайт крупней/популярней - тем он меньше обращает внимание на SEO и сосредотачивается на пользователях, удобстве и полезности.

Если сайт мелкий/новый, то SEO для него в разы важней. Ему прощать то, что простили крупному сайту не будут.

Спасибо за столь обстоятельный ответ! Сайт пока небольшой, не приходится рассчитывать на то, что те немногие пользователи, которые есть - будут на первых пора активно пользоваться этим справочником.

а он точно там нужен? вы сможете сделать справочник ценным по контенту, активности и лучше чем у конкурентов? если нет - то не стоит запускать

пс проходят не по урлам из карт а по ссылкам на сайте - это главное условие, если у вас хорошая структура, шикарная скорость, контент- огонь - то сразу все в индекс и вперед, если нет - то никакие карты и способы не помогут

лично знаком с такой ситуацией

Реальные тесты покажут что произойдет. Но известно, если на сайте каждый день добавляется страничка с информацией и по свистку зовется робот, то спустя пару таких дней он будет залетать как дети в школу самостоятельно. 

спасибо за ответ! рассчитываем на то, что контент будет ценным за счет того, что на страницах будет ин-фа, которая почти у всех конкурентов доступна только в платной версии.

если бесплатная инфа которой ни у кого нету и у этой инфы есть спрос тогда при грамотной структуре ( что бы не было 5-6-7 уровней вложенности) - все будет тип топ. Но если это просто копия проиндексированного контента = выстрел в ногу

Вашу информацию разберут уважаемые сайты,

а Ваш сайт накажут за доброту, возможно навсегда.

Контент с мелкого сайта быстро станет копией,

потому что этот контент разберут другие сайты.

Если сайт пока мелкий, то надо не выкладывать

полезную информацию, а делать сайт уважаемым.

Если пошлёте адрес Вашего сайта в личные

сообщения, то можно подумать на эту тему.

Сами-то поняли чего написали? Пользы давать не надо, но уважение зарабатывайте ))) Бить посетителей и по понятиям им раскладывать масть? ))) Или как?

Далеко не факт. Могут да, а могут и нет.

Коммент ради коммента. Какие-то бабайки рассказываете, которые к реальному положению вещей могут не иметь отношения. Можно было с таким же успехом еще написать, что завтра ядеркой всех накроет и можно ничего не делать.

Ну хоть кто-то выложил скриншот не детского уровня.

Моё почтение (с).

P.S. Совет ТСу - прячьте карты сайта, делайте неочевидные URL, поиск и навигацию.
Иначе будут парсить 24/7/365.