настройка robots.txt под гугл

опаааааа!!!! Наверно ваш вопрос ошибочен.

может это спасёт?

<META NAME="revisit-after" CONTENT="7 days">

Но только с Гуглем эдесь сложно... 😎

Этот тэг вообще безполезен т.к поисковые машины нельзя заставить приходить на сайты по расписанию!

вот и я о том же. Но если человек вдруг новую область деятельности для robots.txt нашел, то хоть на этот тэг сослаться - на безрыбье и рак рыба

это ж надо, первый раз встречаю такую просьбу :)

autodeleted

Ctulhu, зачот и 10 греев

я все понял , стебать не обязательно.

Данную мету лучше не использовать вообще.

Можно реализовать, но только если делать robots.txt через php

Получаем user-agent, допустим гугль. Смотрим в базе, если последний раз был дольше чем неделю назад, выдаем ему robots разрешающий индексацию, если меньше - то запрещающий.

Нужно только сделать две таблицы: 1 - список соответствий user-agent для каждого поисковика, 2 - список поисковиков и дата их последнего заглядывания.

Соответственно первая таблица заполняется вручную (причем нужно учесть, что не все поисковые боты - индексируют, у того же яндекса их целая уйма. а учесть нужно только индексирующих.

Вторая таблица - обновляется скриптом, который проверяет user-agent и если это поисковик, то обновляет дату посещения сайта для этого поисковика. Скрипт этот нужно подключать на каждой странице.

Есть у этого метода много минусов, но поставленную задачу он решает.

Зы. В первую таблицу можно ещё пихнуть разрешающий и запрещающий robots.txt для данного поисковика, так будет проще =)