Определить посещение бота

12
Andreyka
На сайте с 19.02.2005
Offline
822
#11

google://crawl+delay

Не стоит плодить сущности без необходимости
Antonsad
На сайте с 07.05.2008
Offline
147
#12

User-agent: *

Crawl-delay: 10

Это для всех ботов действует как для яндекса так и для гугла?

И еще, можно ли считать параметр в 10 секунд что нагрузка упадет в 10 раз? если у меня на сервере 100 сайтов, у каждого будет стоять Crawl-delay: 10 то в общем зачете нагрузку снижу в 10 раз и оперативная память освободиться?

Нужна декоративная отделка?- Декоративные материалы (loft-krym.ru) , работаем по Крыму!
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий