- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Логи трафика на моих сайтах разделены и мониторятся Мунином, поэтому сразу бросилось в глаза на графиках, что поисковые роботы начали получать 444 ответ.
Полез в логи, смотрю пришло более 5000 запросов вида (IP один и тот же, все на скачивание картинок)
444 отлуп получен из-за юзер агента, у меня реально есть такое условие (разные говно юзер агенты), но запрос попал в лог для поисковых ботов ибо реально он из подсети Яндекса.
Так чего он не ставит свой нормальный Юзер агент?
Кто-то что-то тестировал с твоего сайта. Вот и всё.
Так чего он не ставит свой нормальный Юзер агент?
Кто-то что-то тестировал с твоего сайта. Вот и всё.
Кто "он"? Яндекс это корпорация с кучей разработчиков, которые работают каждый день и что-то делают.Тестировал? 5000 запросов на скачивание картинок. Странные тесты. Они что после первых запросов не поняли что ничего не приходит в ответ?
Так чего он не ставит свой нормальный Юзер агент?
Это стандартный юзерагент автоматического парсера на пайтоне. Они же не знали, что Вы будете отсекать этот юзерагент, вот и оставили стандартный. Но вообще говоря, отсекать по юзерагенту - это дурное занятие, потому что его можно сделать абсолютно любым, и как раз "правильные" роботы подменой юзерагента не занимаются. Если уж хочется отсекать конкретных роботов, то нужно использовать чёрный список, а не белый список.
Это стандартный юзерагент автоматического парсера на пайтоне. Они же не знали, что Вы будете отсекать этот юзерагент, вот и оставили стандартный. Но вообще говоря, отсекать по юзерагенту - это дурное занятие, потому что его можно сделать абсолютно любым, и как раз "правильные" роботы подменой юзерагента не занимаются. Если уж хочется отсекать конкретных роботов, то нужно использовать чёрный список, а не белый список.
Он у меня и есть черный
map $http_user_agent $bad_useragent {
default 0;
~*ia_archiver 1;
~*Curl 1;
~*libwww 1;
~*BLEXBot 1;
~*SBooksNet 1;
~*MJ12bot 1;
~*Java 1;
~*NTENTbot 1;
~*GetIntent 1;
~*SemrushBot 1;
~*HybridBot 1;
~*AhrefsBot 1;
~*SeznamBot 1;
~*DeuSu 1;
~*GrapeshotCrawler 1;
~*SentiBot 1;
~*default 1;
~*Virusdie 1;
~*WordPress 1;
~*WhatsApp 1;
~*SeopultContentAnalyzer 1;
~*WinHTTP 1;
~*MauiBot 1;
~*weborama 1;
~*Python 1;
~*Go-http-client 1;
~*webdatastats.com 1;
~*opensiteexplorer.org 1;
~*www.ru 1;
~*Web-Crawler 1;
~*HttpUrlConnection 1;
~*magpie-crawler 1;
~*AdsrvrBot 1;
~*Clever 1;
~*Seekport 1;
}
условие отсутствие подсети IP в белом списке
А не могут быть это юзеры из Яндекс.Облака?
Да, может быть какие-нибудь парсерсы. Как Google Cloud там же тоже определяется как Google IP
Добавил сюда в map условие отсутствие подсети IP в белом списке, чтобы не было ложного срабатывания, проверил, этот бот все долбится и теперь получает 200 ответ
Класс!!! Сам всё сдал парсеру. Тогда убери вообще защиту, чего уж там.
Мне кажется, это некоторые хитрецы специально используют Облака Поисковиков для маскировки под поисковых ботов. Для них админы всё откроют 😀 Вот только про ЮзерАгента кто-то не додумался. Теперь поправит.
Да это классика, также ещё Гугл документы юзают, чтобы данные вытягивать. Помню даже была статья как DDOS устраивали через них.