- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Центик, 1134 "проблемных" подсети, из них хостингов - 625. Обновляется по факту появления в логах следов сканирования уязвимостей и парсинга.
За Хрумер из домашней сети можно огрести от провайдера по абузе - спамеров не любят, а ты - идентифицирован. Поэтому с домашних IP спамят и сканируют редко.
Все IP хостингов заблокированы фаерволом, ибо оттуда по определению ничего хорошего приходить на сайты не может.
Помогает и от спама(включая рефспам), и от сканирования уязвимостей, и от парсинга контента.
Не поделитесь диапазонами?
или технологией получения более-менее достоверных данных.
и как быть с ВПН, прокси, в условиях блокировок рутрекера, когда уже у многих стоят средства обхода
поставил в свое время вот это
https://www.keycaptcha.ru/demo-magnetic/
боты не умеют собирать пазлы, тем более на джаве.
Пожалуй, "золотой стандарт" для форумов.
Кейкапча сама эволюционирует и сама же пишет плагины для форумов. Почему все еще не используют ее ?
или технологией получения более-менее достоверных данных.
скачиваете в RIPE и других интернет-регистратурах базы. структурируете , отбираете сети по названию организации.
Отдельно анализируете те IP, которые почему-то пробились и добавляете остальные сети этих организаций целиком. И так каждый месяц по мере обновления баз. Тяжко, но легально :)
Например, это можно использовать : http://ftp.ripe.net/ripe/stats/membership/alloclist.txt
и как быть с ВПН, прокси, в условиях блокировок рутрекера, когда уже у многих стоят средства обхода
Ну эти люди сами понимают на что идут. Отключатся, если захотят.
сети этих организаций
Всё-таки лучше не по org, а по роутам и AS сканировать. К примеру, в России федеральные операторы (начиная с тройки лидеров) предоставляют услуги ДЦ корпоративным клиентам, а в случае с конторой типа Ростелекома запутаться ещё проще.
Кроме того, abuse-contact, по поим наблюдениям, практически всегда бывает разный у провайдеров связи, ДЦ и отдельных реселлеров, даже в случае одной организации, владеющей диапазоном - это тоже можно отнести к весомым признакам.
Всё-таки лучше не по org, а по роутам и AS сканировать.
Еще сложнее. Мы же понимаем, что никто этого делать не будет.
Поэтому лучше использовать keykapcha.
или технологией получения более-менее достоверных данных.
Парсинг логов веб-сервера (скриптом на sh вроде: find logs/ -mtime -60 | sort | xargs grep -F 'GET /wp-login.php' >> txt) и собираете IP с которых сканировали:
/engine.php,
/language/media.php,
/modules/media.php,
/forum/web.php,
/wpinfos.php,
/uploadify.php,
/index.php?do=search&full_search=1,
/index.php?option=com_user&task=register,
/yabb.cgi,
/check.htm?id,
/guestbook.php,
/modules/components.php,
/temp/plugins.php,
/blog/admin.php,
/phpmyadmin,
/dumper.php,
/test.cgi,
/dbconfig.php,
/webconfig.txt.php,
/joomla-cms/,
/joomla/,
/index.php?option=com_contenthistory&view=history&list[ordering]=&item_id=75&type_id=1&list[select]=(ExtractValue(1,(select%20concat_ws(0x3a,user(),version(),database()))))
changelog.txt,
/cache.php,
Можно сразу добавить в конвейер awk ...| sort | uniq и получить на выходе только одни уникальные IP-адреса.
Массив IP пробиваете по nic.ru/whois, у 80% сразу видно хостинг или нет. Непонятные IP пробиваете по Бингу шагая на пять адресов вправо-влево - хостинги видно сразу.
Боты с UserAgent-ом, содержащим 'majestic12.co.uk', в 70% случаев ходят с хостингов.
Сейчас время удачное - в Новогодние праздники все парсеры и сканеры массово засветились в логах.
и как быть с ВПН, прокси, в условиях блокировок рутрекера, когда уже у многих стоят средства обхода
Это сильно зависит от степени белизны контента на сайте :) У нас для многих проектов заблокированы и VPN, и публичные прокси, и ноды Tor - судя по логам никого нормального оттуда не приходит, только парсеры и сканеры.
у 80% сразу видно хостинг или нет.
Кстати, строка:
Тоже весьма вероятно указывает на хостинг или какую-то внутрикорпоративную сеть: провайдеры в большинстве случаев берут диапазоны не меньше /20 и заодно статус LIR'а.
http://www.stopforumspam.com/
UPD:
Боты спамят с двух украинских подсетей
185.112.103.0/24
91.200.12.0/24
Эти подсети там уже есть.
http://www.stopforumspam.com/
Эти подсети там уже есть.
Использовать чёрные списки сторонних организация - не комильфо, со временем из них может вырасти очередной СпамХаус.