Александр#: Все равно парсят. Защиты от активного парсинга - не существует. Кому надо - тот спарсит.
Какие меры вы приняли? Ограничены подсети и гео? Стоит лимит на число соединений к сайту? Вы анализируете откуда идут парсеры, откуда идет ваш трафик?
Александр#: Что тут может сделать владелец сайта? Кидать жалобы? - на одну жалобу генерится сотня сайтов-парсеров - это борьба с ветряными мельницами.
Раньше можно было просто сидеть и получать деньги, не работать, постепенно в любой сфере условия меняются. Что с малым предпринимательством, что с профессиями - сначала легко войти и можно не напрягаться, когда конкуренция растет нужно уже конкурировать.
Гораздо эффективнее отключать нецелевые страны, 80-90% трафика идет из одной страны чаще всего. В целевых странах есть подсети крупных хостеров, они гуглятся и их также надо блокировать. Также есть лимиты.
br.almighty #: Какую проблему решать? Проблему чего? Все, кто обращается в ТП яндекса получают стандартные отписки, никакого указания на проблему. Что исправлять, спрашивается?
Кто из владельцев сайтов пробовал вложить время или деньги в защиту от парсинга и ботов? Кто-то регистрировал права на картинки или тексты? Всем лень и неохота тратить время и деньги, но хочется просто получать деньги. Блокировка ботов и парсеров возможна на 95%, потому что из-под мобильных прокси будут парсить немногие, плюс никто не будет мучаться с rate-limit на число одновременных соединений. Если у вас будут права на тексты с сайта хотя бы даже на 1 страницу, то вы уже сможете послать абузу и приложить документы и хостер заблочит копию. Все просто сидят и ждут пока за них что-то сделают.
Большая часть сайтов имеет кучу переоптимизированных статей с кучей воды и с дешевым рерайтом, кучей рекламы и мусорных страниц со спамом в тайтлах, заголовках.
если бы они официально указали, что дело может быть в этом, то вебы их завалили бы примерами этого "добра". И пришлось бы разбираться с этим. Просто масштабы такие, что даже нейросеть сошла с ума (ни один сумасшедший не признается, что он такой).
Им не нужно с этим разбираться, это проблема владельцев сайтов.
Dmitriy_2014#: И опять я не понимаю, зачем это нужно и какое снижение нагрузки на базу данных MySQLесли посетитель получает уже заранее подготовленный HTMLкод в виде готовой страницы?
Что говорит поиск и чаты? Ты как искал?
Ты за столько лет ленишься пройти базовые учебные курсы и научиться искать простые ответы?
Стоит.
Все страны заблочены, кроме 1-3? Подсети хостеров заблочены?
И ваши сайты парсят где тысячи страниц и лимит на число подключений в минуту?
Все равно парсят. Защиты от активного парсинга - не существует. Кому надо - тот спарсит.
Какие меры вы приняли? Ограничены подсети и гео? Стоит лимит на число соединений к сайту? Вы анализируете откуда идут парсеры, откуда идет ваш трафик?
Что тут может сделать владелец сайта? Кидать жалобы? - на одну жалобу генерится сотня сайтов-парсеров - это борьба с ветряными мельницами.
Раньше можно было просто сидеть и получать деньги, не работать, постепенно в любой сфере условия меняются. Что с малым предпринимательством, что с профессиями - сначала легко войти и можно не напрягаться, когда конкуренция растет нужно уже конкурировать.
как можно это отследить?
Выше написал, никто не будет мучаться с сайтом, где в блоке все, кроме мобильных прокси и лимит на подключение с 1 ip на несколько страниц в минуту.
Как найти, откуда идет парсинг?
Гораздо эффективнее отключать нецелевые страны, 80-90% трафика идет из одной страны чаще всего. В целевых странах есть подсети крупных хостеров, они гуглятся и их также надо блокировать. Также есть лимиты.
Тут владелец сайта - бессилен.
Какую проблему решать? Проблему чего? Все, кто обращается в ТП яндекса получают стандартные отписки, никакого указания на проблему. Что исправлять, спрашивается?
Кто из владельцев сайтов пробовал вложить время или деньги в защиту от парсинга и ботов? Кто-то регистрировал права на картинки или тексты? Всем лень и неохота тратить время и деньги, но хочется просто получать деньги. Блокировка ботов и парсеров возможна на 95%, потому что из-под мобильных прокси будут парсить немногие, плюс никто не будет мучаться с rate-limit на число одновременных соединений. Если у вас будут права на тексты с сайта хотя бы даже на 1 страницу, то вы уже сможете послать абузу и приложить документы и хостер заблочит копию. Все просто сидят и ждут пока за них что-то сделают.
Большая часть сайтов имеет кучу переоптимизированных статей с кучей воды и с дешевым рерайтом, кучей рекламы и мусорных страниц со спамом в тайтлах, заголовках.
конечно, но это удобная позиция тех, кто не может решить проблему.
Кто-то должен решить проблему вместо владельца?
если бы они официально указали, что дело может быть в этом, то вебы их завалили бы примерами этого "добра". И пришлось бы разбираться с этим. Просто масштабы такие, что даже нейросеть сошла с ума (ни один сумасшедший не признается, что он такой).
Им не нужно с этим разбираться, это проблема владельцев сайтов.
В открытой статистике пишут 5-10 миллионов долларов в год зарабатывают 😀
По визитам если считать это сколько будет?
Даже если бы зарабатывали, вы то причем к этому? Вам дадут крохи трафика на рерайченный ГС и копейки прибыли.
И опять я не понимаю, зачем это нужно и какое снижение нагрузки на базу данных MySQL если посетитель получает уже заранее подготовленный HTML код в виде готовой страницы?
Что говорит поиск и чаты? Ты как искал?
Ты за столько лет ленишься пройти базовые учебные курсы и научиться искать простые ответы?
У меня один раз утащили видео со мной же. Очень, конечно, сложно догадаться, чьё оно.
Очевидно, вы не знаете, но не обязательно видео принадлежит тому, кто на нем.