Cherny

Рейтинг
120
Регистрация
19.09.2001

Если просто выдавлять реальную дату изменения документа вместо текущей, робот все равно будет брать документ.

Реально существует два варианта:

1. Ждать, когда робот доберется до новых страниц. Это произойдет если старые страницы не меняются долгое время.

2. Эмулировать статику с выдачей всех необходимых HTTP заголовков.

Вопрос, если я сделаю disallow: /show.php
будет ли индексировать Яндекс и ко, важные информационные страницы info.php?xxx

А как робот найдет ссылки на ваши info.php?xxx?

Если найдет ссылки на страницах, отличных от show.php, то будет индексировать.

И какова максимальная возможность индексирования этих динамических страниц info.php?xxx. Их больше 12 тысяч а индексируются дай бог только 3000?

Ограничено кол-во страниц, которое робот берет за один заход.

На сайте существует редирект с index.html на index.php

Допишите в конфигурационные файлы Apache или htaccess в строке DirectoryIndex [то, что есть сейчас] index.php

Тогда можно будет убрать index.html и редирект.

Куда "девается" другая половина? Хотя сам сайт присутствует в ссылающихся страницах...

А Вы попробуйте сравнить пути пользователей по сайту с количеством ссылок вашего сайта в Referer. Тоже нестыковочка получится. ;)

1. ИМХО если и есть какое-то влияние, то мизерное.

2. Не влияют.

3. А чем это сочетание заголовков кажется Вам странным?

Сам по себе Last-Modified на переиндексацию не влияет. Влияние оказывают изменения в тексте страницы, если робот все время получает "200 Ок", если никаких изменений не наблюдается, то он и страницу будет брать все реже и реже.

А можно в личку конкретные адреса?

Первый -- индексирующий.

Второй -- зеркальщик.

stasbz, а робот Яндекса был индексирующий или подсветчик?

Возможно тот робот, который Вам нужен, как раз и не наведывался.

У меня трафик с Рамблера возрос немного, причем люди приходят на страницы, соответствующие запросам.

Возмущаться или расстраиваться нет причин. ;)

Присоединяюсь к поздравлениям!

Счастья, успехов, удачи.

Google дополнительно обрабатывает * (последовательность символов) и $ (конец строки) в поле Disallow.

Всего: 1011