Форум Сайтостроение Статистика и аналитика

Много трафика с одного ip

1 23
MK
На сайте с 02.05.2005
Offline
165
m@ksim
#21
telnet76:
Как думаете, такого правила в robots хватит?

User-Agent: spider5.mail.ru
Crawl-delay: 60

User-Agent - это не доменное имя сервера, User-Agent - это имя браузера. Посмотрите в логах, как называется тот бот, который к вам ходит. Скорее всего, "Mail.Ru/1.0", поэтому в robots.txt нужно писать

User-Agent: Mail.Ru

А Crawl-delay он вряд ли поддерживает, поэтому можно только запретить.

А почему вы не VKRobotRB - что за Защита от ботов для
T7
На сайте с 14.04.2007
Offline
54
telnet76
#22
m@ksim:
Нагрузка - это прямая обязанность сервера и хостера :)

На вас это как влияет? Хостер машет пальчиком "ай-ай-ай"? Вынуждает перейти на более дорогой тариф, хотя в вашем тарифе не оговорена нагрузка? Или оговорена?

Влияет напрямую: сайт выходит за установленные лимиты нагрузки.

Вы рекламу где-нибудь покупаете?

Нет.

Вас не смущает то, что вы платите за 1000 показов, а приходит несколько человек?

Нет.

Вы отказываетесь от рекламы, так как хотите, чтобы по 1000 показов приходило человек 900? Запросы поисковика - это та же схема рекламы, бот запрашивает 1000 страниц, а с поисковика приходит несколько человек.

Именно. Поэтому я хочу или ограничить активность бота, или запретить для индексации некоторые директории моего ресурса.

Кстати, суммировать go.mail.ru и gogo.ru не совсем корректно, у go.mail.ru нет "паука", это выдача Яндекса.

Ясно.

m@ksim:
User-Agent - это не доменное имя сервера, User-Agent - это имя браузера. Посмотрите в логах, как называется тот бот, который к вам ходит. Скорее всего, "Mail.Ru/1.0", поэтому в robots.txt нужно писать
User-Agent: Mail.Ru

А Crawl-delay он вряд ли поддерживает, поэтому можно только запретить.

Сейчас посмотрю в логах.

UPD Да, это он и есть. За 6 часов (4-10 утра) просмотрел 300 страниц сайта и 4 тыс. страниц форума.

Пока что запрещу для индексации директорию форума:

User-Agent: Mail.Ru

Disallow: /forum/

ActionTime:
не знаю, не пробовал
Закрытия ссылок от индексации gogo.ru
gogo.ru как запретить индексацию?

Спасибо за информацию. Узнал, что: "user-agent GoGo называется Mail.Ru/1.0 и реагирует на запись User-agent: Mail.Ru в robots.txt".

telnet76 добавил 14.02.2008 в 18:35

Всем спасибо за помощь. Продолжу наблюдать за этим ботом.

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий