- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Живут у меня постоянно на сайте парсеры и все никак руки не доходят написать для них автоблокер корректный. Баню их по-старинке руками айпишники в правилах iptables.
Заметил, что многие прокси, через которые тянут сайт указывают реальный айпишник получателя в реферерах. Подскажие правило, которое забанит такой хттп пакет.
Вот в логе запрос:
87.244.203.134 - - [17/Jun/2009:09:04:32 +0300] GET /?action=catalog_show&cat=honda&t_id=22119&id_pic=3064 HTTP/1.1 "200" 25899 "-" "-" "193.108.39.44"
Нужно, чтобы по наличию в хидере "193.108.39.44" такие пакеты дропались. Спасибо за помощь.
iptables -A INPUT -p tcp --dport 80 -m string --string "193.108.39.44" -j DROP
hostmaster добавил 17.06.2009 в 11:14
а почему был это не делать в apache ?
iptables -A INPUT -p tcp --dport 80 -m string --string "193.108.39.44" -j DROP
hostmaster добавил 17.06.2009 в 11:14
а почему был это не делать в apache ?
Раньше апачем и банили, но когда запросов много - парсеры после бана не все отключаются и бывает долго еще долбят с 500 ошибками, пока урлы для парсинга не закончатся.
Фаерволом думаю оптимальнее в плане производительности.
Ваш вариант трохи подправил, так как мой айпитейблз требовал алго параметр
Спасибо за помощь
Раньше апачем и банили, но когда запросов много - парсеры после бана не все отключаются и бывает долго еще долбят с 500 ошибками, пока урлы для парсинга не закончатся.
Фаерволом думаю оптимальнее в плане производительности.
так и есть
Ваш вариант трохи подправил, так как мой айпитейблз требовал алго параметр
Спасибо за помощь
you welcome, обращайтесь :)