-= Serafim =-

Рейтинг
1354
Регистрация
10.12.2006
.
Александр #:
Стоит.

Все страны заблочены, кроме 1-3? Подсети хостеров заблочены?

И ваши сайты парсят где тысячи страниц и лимит на число подключений в минуту?

Александр #:
Все равно парсят. Защиты от активного парсинга - не существует. Кому надо - тот спарсит.

Какие меры вы приняли? Ограничены подсети и гео? Стоит лимит на число соединений к сайту? Вы анализируете откуда идут парсеры, откуда идет ваш трафик?

Александр #:
Что тут может сделать владелец сайта? Кидать жалобы? - на одну жалобу генерится сотня сайтов-парсеров - это борьба с ветряными мельницами.

Раньше можно было просто сидеть и получать деньги, не работать, постепенно в любой сфере условия меняются. Что с малым предпринимательством, что с профессиями - сначала легко войти и можно не напрягаться, когда конкуренция растет нужно уже конкурировать.

Weblady #:
как можно это отследить?

Выше написал, никто не будет мучаться с сайтом, где в блоке все, кроме мобильных прокси и лимит на подключение с 1 ip на несколько страниц в минуту.

Weblady #:
Как найти, откуда идет парсинг?

Гораздо эффективнее отключать нецелевые страны, 80-90% трафика идет из одной страны чаще всего. В целевых странах есть подсети крупных хостеров, они гуглятся и их также надо блокировать. Также есть лимиты.

Александр #:
Тут владелец сайта - бессилен.
br.almighty #:
Какую проблему решать? Проблему чего? Все, кто обращается в ТП яндекса получают стандартные отписки, никакого указания на проблему. Что исправлять, спрашивается?

Кто из владельцев сайтов пробовал вложить время или деньги в защиту от парсинга и ботов? Кто-то регистрировал права на картинки или тексты? Всем лень и неохота тратить время и деньги, но хочется просто получать деньги. Блокировка ботов и парсеров возможна на 95%, потому что из-под мобильных прокси будут парсить немногие, плюс никто не будет мучаться с rate-limit на число одновременных соединений. Если у вас будут права на тексты с сайта хотя бы даже на 1 страницу, то вы уже сможете послать абузу и приложить документы и хостер заблочит копию. Все просто сидят и ждут пока за них что-то сделают. 

Большая часть сайтов имеет кучу переоптимизированных статей с кучей воды и с дешевым рерайтом, кучей рекламы и мусорных страниц со спамом в тайтлах, заголовках.

NewReiter #:
конечно, но это удобная позиция тех, кто не может решить проблему.

Кто-то должен решить проблему вместо владельца?

NewReiter #:

если бы они официально указали, что дело может быть в этом, то вебы их завалили бы примерами этого "добра". И пришлось бы разбираться с этим. Просто масштабы такие, что даже нейросеть сошла с ума (ни один сумасшедший не признается, что он такой).

Им не нужно с этим разбираться, это проблема владельцев сайтов.

Gladysheva #:

В открытой статистике пишут 5-10 миллионов долларов в год зарабатывают 😀

По визитам если считать это сколько будет?

Даже если бы зарабатывали, вы то причем к этому? Вам дадут крохи трафика на рерайченный ГС и копейки прибыли.

Dmitriy_2014 #:
И опять я не понимаю, зачем это нужно и какое снижение нагрузки на базу данных MySQL если посетитель получает уже заранее подготовленный HTML код в виде готовой страницы?

Что говорит поиск и чаты? Ты как искал?

Ты за столько лет ленишься пройти базовые учебные курсы и научиться искать простые ответы?

Элизабет #:
У меня один раз утащили видео со мной же. Очень, конечно, сложно догадаться, чьё оно.

Очевидно, вы не знаете, но не обязательно  видео принадлежит тому, кто на нем.

Всего: 27710