Форум Практика оптимизации Любые вопросы от новичков по оптимизации

настройка robots.txt под гугл

12
SK
На сайте с 31.01.2005
Offline
72
SerK
#11
SergoZD:
Смотрим в базе, если последний раз был дольше чем неделю назад, выдаем ему robots разрешающий индексацию, если меньше - то запрещающий.

Ну и после запрещения он выкинет сайт из базы.

Форум "ПолитДиалог" (http://forum.politdialog.ru/): мы не правые, не левые, не за власть, не против нее. Мы - граждане России, все зависит только от нас! С уважением, Сергей Кротов.
SZ
На сайте с 17.08.2005
Offline
63
SergoZD
#12

Хм. Да, наверное. Чё-т не подумал об этом =)

Ank
На сайте с 26.04.2004
Offline
108
Ank
#13

Для мсн есть такое:

User-agent: msnbot

Crawl-delay: 7

но помоему он кладет на это дело.

Я на всякий случай нарисовал всем своим 60, ибо толку нет с него, но ходит он все равно чаще....

Ссылка за контент ( http://www.acma.ru ) прямая и безответная. ► [url=https://saas24.ru/saas_category/dedicated/?utm_source=forums&utm_medium=signatures&utm_campaign=dedicated_s24]Рейтинг серверов[/url] — ТОП10 ◄
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий