Включение Last-Modified. Полный крэш

Боже, а зачем 100K страниц-то нужно? Никак не пойму я этого, почему от индексации всякие сортировки, версии для печати итп не закрыть в роботс. Ну не набрать ведь столько информационных страниц даже года за 4 новостному порталу. Даже если по 40 новостей в день и по 10 статей.

А жить можно отлично, только помимо обработки Last-Modified надо обрабатывать и If-Modified-Since, если на сайте больше 500 страниц - для хорошей индексации это прям таки необходимо.

А вообще, причем тут last modified ? Во-первых, он всем параллелен. Во-вторых, ну хреново яндекс в августе работал :(

Если страницы - статика, то может и не причем, а если динамика, то как же без него обойтись то? :)

А Яндексу пофиг, что вы в этом заголовке напишете. Изменилась страница, или нет - он оценивает на основе полученного содержания. Так что надо обрабатывать if-modified-since, тогда можно заставить робота взять больше.

Ну ведь в if-modified-since дата какая-то посылается? Хотите сказать, что для Яндекса это дата последней индексации документа, в независимости от того, какую дату вернул документ? Возможно это и так. А вот с тем, что можно заставить робота взять больше несоглашусь. Он все равно больше определенного лимита не возьмет. Скорее его можно заставить взять то что нужно :)

@uthor, ты не понял. Яндексовский бот не учитывает в лимите немодифицированные страницы. Так что если правильно обрабатывать if-modified-since, то можно скармливать только изменившиеся страницы.

p.s. А last-modified - ну совершенно ему пофиг :)

С last-modified я все сразу понял. А по поводу скармливания... Допустим у меня на сайте 10000 страниц. В результате обработки if-modified-since 7000 из них отдают 304 Not Modified. Соответсвенно 3000 отдают 200 Ок. Обрабатывая if-modified-since я только смогу отправить робота на нужные страницы, но все 3000 он за раз все равно не возьмет.Поэтому я и говорю, что можно управлять индексацией, а кол-во страниц все равно не увеличить.

Одним словом, говорим мы об одном и том же :)