- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Анализировать свои логи, выяснять с каких ip-адресов больше всего лезут боты. Потом эти определять к каким ASN эти адреса соотносятся (например, на сайте https://ipinfo.io/ или ему подобным). Примерно так.
Я вот проанализировал логи таким образом и вижу, что 90% ботов идет из ANS CF. Что в таком случае посоветуете?
# (AS44812) IP SERVER LLC
# (AS59504) LLC Vpsville
# (AS204916) Racktech Co. Ltd.
# (AS29182) JSC IOT
# (AS50113) NTX Technologies S.R.O.
# (AS35048) Biterika Group LLC
# (AS45027) LLC Internet Tehnologii
# (AS60389) Manir LLC
# (AS213220) Delta Ltd
# (AS49492) Mehed Studio LLC
# (AS34665) Petersburg Internet Network Ltd.
# (AS211027) Perfect Cloud Technologies LLC
# (AS56630) Melbikomas UAB
# (AS205125) Network Management Ltd
# (AS204490) Kontel LLC
Попался мне клиент, у которого вот эти AS сети гуляют. Ну битерика понятно, а остальные. Посмотрел через клауд, все есть кроме AS56630.
Эти сети чисто хостинг компаний, у клиента галочку клауда (бесплатный тариф) конечно же они проходят :)
Список взял отсюда [Nginx] Config for block site bots / Конфиг для блокировки вредного трафика от хостинг провайдеров · GitHub
И выделил только AS, там же есть и для .htaccess
Так что блокируйте, ушел смотреть свои сайты на эту бяку.. и у него боты эти сидели больше 15 секунд.
интересно..
имеет ли смысл блокировать все ASN по ASN type = Hosting
Я вот проанализировал логи таким образом и вижу, что 90% ботов идет из ANS CF. Что в таком случае посоветуете?
Нормально настроить проброс айпи на хостинге. Чтобы в лог реальные айпишники писались, а не проксированные клауда.
Ну и вопросы по оставшимся 10% коннектам, которые идут к вам на сервер напрямую, в обход клауда.
Подскажите, парни, как быть.
Есть вот такие правила:
Первое правила, белые поисковые боты, в последних правилах, пытаюсь заблокировать SemrushBot/7~bl
Но клауд пропускает, я так понимаю, потому что SemrushBot/7~bl находится в первом правиле, в белых.
Как быть? Сначала блочить а потом разрешать? Вроде это не правильно
При попытке поднять block3 в верх, поставить первым, все равно клауд пропускает SemrushBot/7~bl
Подскажите, парни, как быть.
Есть вот такие правила:
Первое правила, белые поисковые боты, в последних правилах, пытаюсь заблокировать SemrushBot/7~bl
Но клауд пропускает, я так понимаю, потому что SemrushBot/7~bl находится в первом правиле, в белых.
Как быть? Сначала блочить а потом разрешать? Вроде это не правильно
При попытке поднять block3 в верх, поставить первым, все равно клауд пропускает SemrushBot/7~bl
Да, сначала блочить, потом разрешать. В таком случае бот не дойдет до правила разрешения. Если у Вас так не работает, то покажите вообще код, который вы используете для блокировки семраша. Я вижу что там AS сеть у Вас, но вы уверены что бот Semruh ходит только с той сети что у Вас? блокируйте по UserAgent - SemrushBot
Если и это не поможет покажите лог, где вы видите что семраш проходит, можно в самом низу сделать просто логирование всех заходов, и там найти SemrushBot по фильтру.
Подскажите, парни, как быть.
Как быть? Сначала блочить а потом разрешать? Вроде это не правильно
Просто вставляйте в эти правила свой айпишник и увидите, как они работают.
Друже, я правильно понимаю, что правила для сеток можно также задавать и в этой вкладке?
По остальным начальным шагам настройки клауда, у вас получилось забанить тех поведенческих ботов, которые долбились на 404 страницу?
Здравствуйте! В последнее время поведенческие боты опять стали заходить на 404 страницу. Я уже в третьем правиле изменил JS Challenge на Block, не помогло. Не подскажите, что можно ещё предпринять?
Здравствуйте! В последнее время поведенческие боты опять стали заходить на 404 страницу. Я уже в третьем правиле изменил JS Challenge на Block, не помогло. Не подскажите, что можно ещё предпринять?
Блокируйте доступ к 404 странице, в чем проблема?
А как это сделать?