- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть у нас сайт.
Оптимизированы запросы, довольно шустрое железо, свой сервер, 16гб оперативки, memcache и проч.
И повадились к нам контент парсить.
Прикинулись гугльботом.
Работают через сеть IPов - порядка 10000.
Все это видимо ботнет, т.к. постоянно появляются новые ИПЫ.
Скорость выгребания 5-10 страниц в секунду.
А так как страниц ооочень много - то в кеш они не помещаются, а парсеры из мемкеша выбивают
нужные кешированые страницы.
Мы конечно оперделили что это не гугль и стали отдавать не то что от нас ждут, но и на "той" стороне поняли это и теперь прикинулись msnbot-ом.
Понятно, что это мы присекли, но как только они поставят обычный, не ботовый ип - всё, как защититься я не знаю.
Мы сейчас эту базу из 10к ипов не пускаем как бы к нам, но что делать дальше? ;(
Жестко!!! :)
10К ипов - это мрак...
Это что за контент такой сладкий, что под него ботнета не жалеют?
По сабжу могу только посоветовать его перенести в раздел "Администрирование серверов" - там соответствующих спецов больше тусится.
10К ипов - это мрак...
Та ладно... :)
Мы сейчас эту базу из 10к ипов не пускаем как бы к нам, но что делать дальше?
Пополняйте базу. Ресурсы вечными не бывают, рано или поздно такой парсинг станет нерентабельным.
Юни, ты как всегда прав. НО... если они не будут тупить и поменяют юзер-агент на что-то более приближенное к нормальному посетителю - я не имею ни одного шанса их отсечь.
Что делать?
SilverMaster, та полно. IP-то не подделаешь (вернее, дорого это весьма). Так что, независимо от куко-заголовков, парсера всегда можно вычислить по адресу.
Если это ботнет, то пеняй юзеру, чтобы машину чистил, ну а если белый адрес, то имеет смысл поговорить с провайдером про такую активность.
Так что, независимо от куко-заголовков, парсера всегда можно вычислить по адресу.
Для вычисления парсера по IP необходимо, как минимум, знать IP парсера :-) Вопрос в том и стоит - как определить то, что пришел бот, а не человек, после того как бот прикинется человеком (правильный юзнрагент, нормальные рефереры, рандомные промежутки между запросами... и т.п...) ?
Если это ботнет, то пеняй юзеру, чтобы машину чистил, ну а если белый адрес, то имеет смысл поговорить с провайдером про такую активность
Пенять 10К юзеров ? Анрил (особенно учитывая нежелание провайдеров сотрудничать и динамические IP аля Yota, MGTS)
В Google поиске сделано просто. Если с 1 ип больше опеределённого кол-ва запросов в минуту идёт выдаётся страница с капчей, если не бот докажи. (5-10 страниц в секунду - жесть)
В Google поиске сделано просто
баян...
5-10 страниц в секунду - жесть
...который легко обходится сеткой из 10К ботов
У вас уже есть какая-то часть их ипов? Так вы не баньте их, а просто выдавайте всякую хр*нь (или перенаправляйте их куда-то) на запросы из этих ипов. У них получится такая ситуация: одни страницы парсится нормально, другие плохо. А почему - сразу не догонят.
Пусть немного голову поломают, а потом думаю надоест (разве что у вас контент очень нужный)
Если бы сетка была из 10к ботов (которые мы уже определили) это было бы еще полбеды.
А так в минуту добавляесься новых 10-15 ипов, а со старых больше заходов нет.
Если бы сетка была из 10к ботов (которые мы уже определили) это было бы еще полбеды.
А так в минуту добавляесься новых 10-15 ипов, а со старых больше заходов нет.
Я даже боюсь спросить, что у вас за контент такой...