Индексация большого сайта

Ваши страницы индексируется не все сразу, скопом, а помещаются в очередь на индексацию.

Бороться с этим можно, запрещая роботу индексировать менее ценные страницы. Например, если у вас интернет-магазин, то запретите страницы с описанием товара, оставьте только главные страницы подразделов и т.п.

Это все понятно. Проблема в том, что если запретить, например в роботс.тхт индексирование старых статей, автоматически очистится весь архив на яндексе, а этого не хочется

Та же проблема - подскажите, кто как решает этот вопрос?

Может как то можно "подсказать" поисковику как индексировать в первую очередь нужные мне страницы и только потом все остальное?

Запрещать то, что уже проиндексировано жалко, поскольку приличное количество заходов с поисковиков на "это" есть.

Могут быть лимиты в зависимости от авторитетности ресурса. Может ИЦ подбавить?

Может обрабатываете неправильно? Поидее если у старых страниц отдаете нот модифай робот должен идти на новые.

А что значит

?

У Гугла эти лимиты есть, а у Яндекса? Конкретно известно, есть они или нет?

Мне известно, что лимиты есть у Апорта, насчет Яндекса самому интересно, но логика подсказывает, что должны быть.

иц 750. Как вобще можно влиять на порядок индексирования и на ссылки, содержащиеся в базе яндекса, не влияя на сами проиндексированные страницы?

Да - на 100% известно, что они есть. До добавления 400 прямых ссылок забиралось по 500 страниц в один из дней недели, а в остальные по 50. После добавления и съедания ссылок Яндексом по 1500-3500 страниц в 2-5 дней, т.е. у меня сайт индексировался по неделям:

500 + 500 + 500 + 7500 страниц

При этом я не отрицаю лимит в 500 страниц на 1 заход, но Яндекс просто как бешенный делал по 3-7 заходов на сайт в один и тот же день!!!!!!!

Я сейчас не дома, но могу потом изменить сообщение и добавить конкретику по дням по 3 сайтам. Примерно так:

----------

до

497

35

10

78

15

530

...

после

1200

2560

3200

1800

59

60

1900

3900

...

----------

Там где малые цифры - это насколько я понимаю индексация отдельных страниц сайта по внешним ссылкам. Там где огромные цифры - это индексация самого сайта. У меня добавилось 7,500 страниц за 1 неделю!!! При этом он как бешенный продолжает обращаться к 7,000 -10,000 страницам в неделю, хотя сайт уже полностью проиндексирован

Попробовал тоже самое с еще 2-мя сайтами - тот же самый эффект сразу же полная индексация практически вне зависимости от размера сайта (10,000 страниц в неделю влегкую).

Не могу сказать зависит ли это от авторитетности, но что при появлении новых 400 ссылок (из нашего набора каталогов) происходит вот такой вот ОЧЕНЬ ПОЛЕЗНЫЙ эффект.

Хотя может это простое совпадение и у всех теперь по 10,000 страниц индексируется?