Что может быть еффективнее явного запрета к индексации? Всех ссылок можете и не убить. А если кто-то с другого сайта на страницы, которые вы спрятали, ссылку поставит? (а ссылки такие будут - хотя бы рефереры с открытых статистик сайтов, на которые перейдут с ваших "очень спрятанных" страниц). Предложенный же мной метод - еффективен, корректен, надежен и прост. Не если не подходит - беда! Ничем не смогу больше помочь
Ну разве что можете еще ботов по юзер-агенту просто убивать на нежелательных страницах.
Ну и что, что один шаблон. Включите туда переменную (там где мета) - и определяйте ее в программе. Если нужно индексировать - давайте пустую строку, если не нужно - строку с мета, запрещающую индексацию
Ага, и все страницы ушли из поискового индекса :)
genom, Програмно генерите когда идет act=calendar и тп мета-таги для роботов в результирующих страницах .
У вас параметр s идет раньше параметра act и такая запись в роботс.тхт как у вас уже не срабатывает
Может, если у вас сайт на скриптах и скрипты тяжелые для исполнения сервером (например производят сложные вычисления и перетряхивают огромные БД). В таком случае нужно оптимизировать скрипт. Очень часто проблема может быть в плохом качестве кода скрипта
Если сайт на статике - проблемы не должны возникать
А ссылки из PDF файлов?
У меня новые версии страниц робот уже наверное раз пять взял, а в кеше все-равно старая версия.
А мне очень обидно. Ибо старая версия - просто флеш-ролик, а новая - нормальный ХТМЛ.
У меня та же ситуация. Полтора месяца старая страница сидит в индексе. А какие то несуществующие - около полугода..
Кроме цифр нужно знать тематику, аудиторию, язык сайта, обьем сайта ...
А Вы не хотите добавить возможность запрашивать if-modified-since и возвращать информацию об его обработке? Кажется, он не запрашивает.
Кроме того, можно было бы запрашивать if-modified-since например с лист-бокса со значениями "сейчас", "вчера", "месяц назад", "год назад" - было бы удобно для тестирования.
