- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Блокировка идет автоматически: анализ лога по крону каждые 20 минут (позже изменю на 15).
Волнует не нагрузка на сервера, а дубликаты моих сайтов по сети.
IP банятся с помощью команды:
iptables -A INPUT -s IP. IP.IP.IP -j DROP
От списка подсетей IP ботов (яндекса, гугла) отказался. Т.к достаточно определения хоста по IP. Это исключит проблемы с новыми IP.
Есть черный список ЮзерАгентов:
Для каждого IP определяется hostname (хост) и кешируется.
Хорошие хосты, которые не банятся вообще:
my $host_names_allow ="vkontakte\.ru|search\.msn\.com|googlebot|yandex\.com";
Идет анализ хвоста лога ( 14 Мб ).
Для каждого IP пишется в массив список всех посещенных страниц. Выбирается 15 самых шустрых IP и:
1. Если IP не посещает страницы, инициация загрузки которых вызывается из javascript сайта - порог бана 300 просмотренных страниц.
2. Если юзерагент есть в списке плохих - порог бана 150 просмотренных страниц.
3. Для всех остальных - порог бана 600 просмотренных страниц.
4. Если хост IP в списке "хороших хостов" - не банится вообще.
5. Еще планируется бан по списку зловредных запросов: поиск уязвимостей и админок.
Каждый бан - уведомление в Телеграм.
Выглядит так. На картину поместилось 2 сервера из 4х.
Обрезал список - т.к. есть и мои IP в списке.
Кто делал похожее?
Может что-то не учел?
Правильно:
Блокировка БОТОВ на сайте .
Каждый бан - уведомление в Телеграм.
И вместо работы теперь вы будете читать телеграм ))
Я сделал проще, работает уже 5 лет без нареканий. Я тоже на автомате по крону проверяю хосты у IP но только у тех, которые имеют юзер агент поисковых ботов, а IP не совпадает с белым списком - если хост вдруг поисковика, мне приходит уведомление и я обновляю белый список (за 5 лет обновлял раза 4).
Еще я сделал проверку логов на предмет поиска IP которые шарятся по страницам и не скачивают статику (картинки, JS) и этих тоже в бан. Логи я разделил по протоколам и боты поисковиков в отдельны лог пишутся, поэтому проще быстро все анализировать. Баню через подключение дополнительного конфига в Nginx (который обновляется постоянно) чтобы не засирать аптейблс тысячами IP
Я сделал проще, работает уже 5 лет без нареканий.
Я же помню. Вы перейдите на следующую страницу по Вашей ссылке и вспомните меня)
Nginx (который обновляется постоянно) чтобы не засирать аптейблс тысячами IP
У меня есть подозрение, что iptables будет быстрее или это не так?
Как минимум fail2ban активно работает с iptables.
Экологически чистое зануление маршрута. 😀
Экологически чистое зануление маршрута. 😀
Почему blackhole лучше/экологичнее?
Почему blackhole лучше/экологичнее?
Меньше накладных ресурсов, маршрут отправляется в нулл на 3 уровне модели OSI (считайте это уровнем IP-адреса).
Формально, iptables тоже так умеет, если это raw и если это PREROUTING, однако, он работает с netfilter, что по моему мнению может добавить накладные ресурсы, но не факт.
В iptables вы дропаете пакет на 4 уровне - это уже когда идет разбор tcp/udp-пакета, адреса назначения, протокола и прочего, что в данной ситуации нам совершенно не нужно.
iptables хорош, если вам нужно не только заблокировать, но и посчитать количество пакетов, зажурналировать их.
Согласен с коллегами выше. Зачем мудрить что-то, в ручную настраивать, разбираться?!
Чтобы не платить 5 тысяч рублей в год за скрипт, который блокирует на уровне PHP 😀
Хотя, этому форуму не помешал бы такой скрипт...