- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите, как возможно избавиться от автоматического грабинга статей с сайта, зная домены ресурсов, на которые парсятся материалы? Может в .htaccess что-то прописать с указанием этих доменов? Есть варианты?
Это смотря как вас грабят. В некоторых случаях достаточно отключить RSS, а в других нужно серьезно побороться.
Эта тема поднималась здесь очень много раз. Общее резюме: избавиться - никак, можно только затруднить подобную деятельность.
можно защиту от хотлинка настроить - тогда криво будут грабится сайты
Отключил RSS, ряд сайтов отвалился. Осталось несколько, на которых материалы появляются от 10 до 30 минут, после публикации.
Что можно сделать, зная домены этих сайтов? Перерыл форумы, толком ничего не нашел. Может есть все таки какая-то возможность чтобы избавиться от этих граберов? Может в .htaccess что-то прописать? Неужели никто не знает?
зная домены этих сайтов
Если запросы идут от них - блокирнуть по ИП
NeoDesign, use this script /ru/forum/958253
NeoDesign, попробуйте, простой вариант)
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html><head>
<META HTTP-EQUIV="pragma" CONTENT="no-cache" />
<META HTTP-EQUIV="Cache-Control" CONTENT="no-cache" />
</head><body onload="document.cookie = 'noparse=ok'; location.reload(true);">
</body></html>
.htaccess
RewriteEngine On
RewriteCond %{HTTP_COOKIE} !^.*noparse=ok.*$
RewriteRule ^(.*)$ noparse.html [L]
Может в .htaccess что-то прописать с указанием этих доменов?
Order Allow,Deny
Allow from All
Deny from ***.*** (Айпи или маска айпи)
NeoDesign, попробуйте, простой вариант)
Be careful it may block legal bots (Yandex, Google)
SocFishing, это скорее всего не поможет. парсят скорее всего без использования js и ваш код не сработает.