Про Yandex/1.01.001 (compatible; Win16; I) и 200 и 304 ответы...

Согласно этому документу:

http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html

все нормально. Или у Вас страницы после 17 января переживали изменения?

304 отдает, когда правильно настроена отдача даты обновления документа, но в Апаче, кроме того, необходимо выставлять права доступа как мин.775 для shtml. у других, возможно

динамические страницы - они "обновляются" при каждом клике

или статические с ограниченными правами доступа -робот не знает дату обновления

А что хорошего в 200? Что это дает?

MANiac, конечно же - главная менялась чуть ли не каждый день...

amph, я сам пытаюсь разобраться - что это дает - 200 или 304. Урлы страниц, которые дают 200 (это страницы других сайтов, не первого, по которому робот активно ходит), сделаны через mod_rewrite.

Вот еще что нарыл:

Если посмотреть инфу по сайту с помощью http://www.be1.ru/stat/ , то почему-то выводится что robots.txt отсутствует. А он есть...

На других сайтах - все ок, его содержимое отображается.

Creeping Shadow, проблема только в yandex? На этом хостере похожие (движками) сайты есть?-у них как?

Creeping Shadow, 304, по моим наблюдениям, дает глубину индексации, а 200 -частоту. Кстати, так и не понял, сайт с 304 -динамический? Возможно, в нем норсмально прописан хедер (Last Modified) а в других =не прописан или сбивается из-за рерайта, что бывает.

.kero., в Гугле стоит дата 16 февраля. Yahoo дату не пишет.

Хостер: http://www.mtw.ru/ - Windows хостинг.

amph, нет - с 304 как раз полная статика - *.htm

Ух, я сегодня вредный! Сами-то поняли, что сказали? Прежде чем, что-то заявлять, не мешает разобраться в природе обсуждаемых вещей. Всем советую поискать информацию о запросе if-modified-since

Тогда все в порядке вещей - в динамических страницах ДЛЯ СЕРВЕРА на его стороне изменения происходят ежеминутно и ежечасно (при нормальной посещаемости), поэтому Я каждый раз видит страницу как новую, даже если она не менялась, ведь рерайт только симулирует адрес, а обрабатывается все равно динамически. А в статике все как надо и как в жизни.Что смущает?

А можно сайт в личку?

wolf, Еще как понял: 304 позволяет пауку быстрее перескочить на другие страницы и он за раз съедает больше страниц, при этом забираясь вглубь. Если страницы постоянно отдают 200, паук в каждый заход их обходит, и зачастую "ходит по кругу". Я знаю это по собственному опыту: на фоне 304 у меня быстроробот моментально загоняет обновленные страницы в индекс, а когда дата обновления не была настроена, все происходило гораздо медленнее. Для форума, к примеру, это не важно, а для портала -очень даже.

MANiac, не понял - мой сайт? :)