И дополнение к п.2. Сразу непросмотрел всю статистику до конца.
То что описано выше происходило утром.
Вечером на этом ресурсе был еще и Апорт. Скушал 1206 страниц. В этоже время гугльбот там тоже что-то добирал. Видимо то, что не взял утром. Так вот гугльбот и бот апорта работали одновременно и похоже нисколько друг-другу не мешали...
С last-modified я все сразу понял. А по поводу скармливания... Допустим у меня на сайте 10000 страниц. В результате обработки if-modified-since 7000 из них отдают 304 Not Modified. Соответсвенно 3000 отдают 200 Ок. Обрабатывая if-modified-since я только смогу отправить робота на нужные страницы, но все 3000 он за раз все равно не возьмет.Поэтому я и говорю, что можно управлять индексацией, а кол-во страниц все равно не увеличить.
Одним словом, говорим мы об одном и том же :)
Ну ведь в if-modified-since дата какая-то посылается? Хотите сказать, что для Яндекса это дата последней индексации документа, в независимости от того, какую дату вернул документ? Возможно это и так. А вот с тем, что можно заставить робота взять больше несоглашусь. Он все равно больше определенного лимита не возьмет. Скорее его можно заставить взять то что нужно :)
Если страницы - статика, то может и не причем, а если динамика, то как же без него обойтись то? :)
Artlight, ну что Вы к каталогу то прицепились? Вопрос же не об этом был. Сайтов не внесенных в каталог Яндекса значительно больше чем внесенных, и это не мешает им обмениваться ссылками, добавляться в каталоги и вобще "жить полноценной жизнью" :)
Сразу, можно даже на сайт не ставить.
И вот тут кстати очень неплохо описано
http://www.yandex.ru/ya_detail.html
Эти кривые ссылки выдают 302 Redirect, так что не факт, что никак не влияет.
В Рамблере такие ограничения однозначно есть. Без проблем берутся в принципе страницы с одной переменной, т.е. со знаком "?" и без "&". А вот за Апортом я такого не замечал. Он берет все и много.
Я думаю что проблема в том, что у вас к УРЛ добавляются сессии. В базу попало много одинаковых страниц, но с разным урлом (отличие в сессии) и из-за этого Вам понизили квоту на индексацию.
