Создание robots.txt

M
На сайте с 08.10.2004
Offline
0
522

Как сделать так, чтобы роботы индексировали только обновления на сайте???

X
На сайте с 11.08.2004
Offline
22
#1

:) Роботы и так их буду индексировать.

Хостинг под дорвеи (http://rana.com.ru/) Бесплатная автосамбилка сайта в поисковые системы (http://rana.com.ru/sub/)
M
На сайте с 08.10.2004
Offline
0
#2
Как писал Xpymc
:) Роботы и так их буду индексировать.

Мне нужно исключить индексацию старых страничек и индексировать только новые! Траффика много жрет, понимаешь... Если ничего нельзя сделать, то как уменьшить использование траффика, кроме исключения индексирования картинок!!!

ER
На сайте с 19.11.2002
Offline
107
#3

robots.txt тут не поможет. Ищите по if modified since

M
На сайте с 08.10.2004
Offline
0
#4

Ты хочешь сказать что мне нужно проверить все файлы на измененияи если они есть, и что дальше???

Да, кстати, а если у меня на серваке 100 account'ов, ты представляешь сколькл это времени займет, рыться и проверять каждый файл!

Тем более у меня один файл index.php из которого генерится страничка! Так что это не подойдет!

По моему это все не реально!!!

C
На сайте с 19.09.2001
Offline
120
#5
Тем более у меня один файл index.php из которого генерится страничка! Так что это не подойдет!
По моему это все не реально!!!

По-вашему нереально, а у помоему - реально. И трафика меньше и результаты лучше.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
M
На сайте с 08.10.2004
Offline
0
#6
Как писал Cherny

По-вашему нереально, а у помоему - реально. И трафика меньше и результаты лучше.

При генерации index файла, дата изменения не меняется!!!Вот по чему это не реально!

Ну а даже если бы менялась, то что дальше ... Я не понимаю

C
На сайте с 19.09.2001
Offline
120
#7

Можно хранить даты изменения для каждого документа в БД или проверять даты изменения файлов с текстами, если они вставляются с помощью include, обрабатывать эти даты и запросы с If_Modified_Since в том же файле index.php.

Вполне реально.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий