- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В последнее время сайт повадился грабить бот. Все время 1 и тот же.
Представляется так
Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13 sputnik 2.1.0.18 YB/4.3.0
Я его баню по ip, но он потом вновь приходит, но с другого ip.
Подскажите, как правильно его заблокировать и что это вообще за зверь такой, что он обычно хочет от сайтов?
Кстати мешает потому, что создает очень высокую нагрузку, и сайт подвисает.
Что это, сказать не могу, какой-то бот. Блокируйте по user-agent с помощью nginx, установите лимиты по кол-ву запросов с Ip.
А так, могу предложить установку защитной системы от DDoS. Если вы говорите, что создаётся большая нагрузка, значит он шлёт
много запросов и его надо блокировать. Возможно user-agent не только тот, что вы указали. Система поможет с этим.
Nginx умеет делать так
if ($http_user_agent ~ "sputnik 2.1.0.18") {
return 403;
}
Но правильно не через nginx а через фаервол:
iptables -A FORWARD -m string --string "sputnik 2.1.0.18" -j REJECT
или
iptables -A FORWARD -m string --string "sputnik 2.1.0.18" --algo kmp -j REJECT
в зависимости от оси и сборки
Но правильно не через nginx а через фаервол:
iptables -A FORWARD -m string --string "sputnik 2.1.0.18" -j REJECT
Правильно, нефиг с баром mail.ru по сайтам лазить.
А боты же тупые, user-agent поменять не смогут.
Правильно, нефиг с баром mail.ru по сайтам лазить.
А боты же тупые, user-agent поменять не смогут.
Может и так. :)
Кстати, интересную тему нарыл http://forum.mozilla-russia.org/viewtopic.php?id=44605
staf888, может у вас лаги с JavaScript редактором на сайте? Циклическая переадресация при запросе через AJAX например.
---------- Добавлено 07.04.2013 в 23:18 ----------
Правильно, нефиг с баром mail.ru по сайтам лазить.
А боты же тупые, user-agent поменять не смогут.
У меня как-то ДОСили ботами AOL браузерами, забанил всех по user-agent и атака прекратилась. Всё зависит от ботов и проф. подготовки "специалиста".
ппц советы, тс походу шокирован
зы не умеете не лезьте
нет, не шокирован. Нашли другое решение. Будем отслеживать активность по ip, и при высокой активности банить этот ip на автомате.
нет, не шокирован. Нашли другое решение. Будем отслеживать активность по ip, и при высокой активности банить этот ip на автомате.
Жду следующую тему: сайт выпал из выдачи яндекса/гугла
ну ждите, только я в 2 словах описал. Естественно ботов поисковых никто блокировать не собирается. Кроме того, они ведут себя на сайте хорошо, используя правило crawl delay