Как уменьшить траффик от Поисковых ботов?!

X
На сайте с 06.04.2006
Offline
115
635

Сайт находится на выделенном серванте и исходя из статистики очень много траффа генериться поисковыми роботами. Как можно уменьшить их траффик если сайт расчитан только на РУ аудиторию?! Как это программно реализовать?!

Может быть сможете ссылок подкинуть где почитать об этом - буду очень благодарен!

Спасибо за Ваше время!

С Уважением, Xansen!

farlow
На сайте с 07.05.2008
Offline
102
#1

довольно странная проблема, я бы предложил оплатить траффик ботов, и компенсировать это траффиком пользователей

а по сабжу, каких ботов хотел бы урезать? гугл позволяетурезать через панельку, другие ПС через роботс.тхт

конкретней плз

Ищу дизайнера, вебмастера
X
На сайте с 06.04.2006
Offline
115
#2
farlow:
довольно странная проблема, я бы предложил оплатить траффик ботов, и компенсировать это траффиком пользователей

а по сабжу, каких ботов хотел бы урезать? гугл позволяетурезать через панельку, другие ПС через роботс.тхт

конкретней плз

полностью запретить ползать по сайту ботам MSN и Yahoo.

Поясните пожалуйста насчет роботов: меня абсолютно не устраивает кол-во внешнего трафика в месяц, который генерят эти боты. КТо как с этим борется? Есть какой нибудь баланс?!

SotEX
На сайте с 14.04.2007
Offline
86
#3

Вообще вот тут почитайте...

Бесплатный мониторинг размещенных статей (/ru/forum/438989)
A
На сайте с 12.05.2004
Offline
176
#4

Для начала проанализировать, какие боты генерируются больше трафика и запретить их в robots.txt (кроме ботов основных поисковых систем). Закрыть через robots.txt или метатеги <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> все страницы, которые не нужно индексировать (дублированный контент, поиск по сайту, служебные страницы и.т.д). Злостных ботов, которые не соблюдают указания robots.txt забанить в .htaccess. МСН и Яху банить не надо, они дают полезный трафик, достаточно включить задержку индексации в robots.txt:

User-agent: *

Crawl-delay: 20

Гугл данную конструкцию не понимает, но для него можно установить задержку в панели вебмастера. Включить поддержку компрессии gzip, это снизит не только ботовый, но и основной трафик (но увеличит нагрузку на сервер).

X
На сайте с 06.04.2006
Offline
115
#5

Вот спасибо! Очень грамотный ответ! Искренне благодарю!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий