- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
на сайте https://seo.klimin-viktor.com/parsery-dlya-blokirovki.htmlнашел список парсеров
если их в .htaccess запихнуть таким образом
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^PhantomJS[OR]
RewriteCond %{HTTP_USER_AGENT} ^Python-urllib
RewriteRule ^.* - [F,L]
кстати вопрос: как прописать многосоставные названия, типа Codular Sample cURL Request
и еще вот такое добавить:
# Block via Query String
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{QUERY_STRING} (crawl|scanx) [NC]
RewriteRule (.*) - [F,L]
</IfModule>
даст ли реальную защиту или нужно блокировать всех г-хостеров и облачные сервисы по IP?
кстати, побанил всех ру г-хостеров по подсетям и бурж. облачным сервисы, ни один парсер статейки по 30-50 кило просмотров за последние пару месяцев не скачал. Понятно, что от школоты только, но тоже неплохо.
один минус - около 1000 строк в .htaccess
а если сделать отдельным файлом и вызывать с помощью кода
IP в строке и параметр -1 к примеру , так не понял как указывать в таком файле примечания - а это важно (хостер, AS, чей и т.д)
PS: антибот просьба не предлагать, так как они не по сайтам парсят, а конкретно трафиковые статьи в топе по ВС и СЧ запросам.
даст ли реальную защиту или нужно блокировать всех г-хостеров и облачные сервисы по IP?
Как выше верно указал Станислав многие даже десктопные парсеры имеют пользовательские настройки для смены User Agent.
Банить лучше по признаку кол-ва запросов от одного IP (исключая поисковики), но подобные настройки как правило доступны либо в сервисе хостинга, либо в сервисах типа CF.
Если я хочу забанить множественные заходы по определенному IP поможет блокировка в .htaccess ?
- скорее всего сменят IP ( поможет на какое то время )
Если я хочу забанить множественные заходы по определенному IP поможет блокировка в .htaccess ?
Т.е. одиночные заходы вы хотите разрешить, а более частые запретить?
спарсят с вебархива
Сохранение сайта в вебархиве элементарно банится.
Даже если сайт уже сохранён?