Запрет парсинга сайта - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 13.06.2018, 16:00   #1
Студент
 
Регистрация: 08.06.2018
Сообщений: 20
Репутация: 10
Социальные сети Профиль в ВКонтакте

По умолчанию Запрет парсинга сайта

Вопрос такой, можно ли какими либо средствами запретить парсинг сайта целиком, интересует защита от дорвеев, интересно как для vps и так же для share хостинга
spanjokus вне форума   Ответить с цитированием
Сказали спасибо:

Реклама
Старый 13.06.2018, 16:05   #2
neoks
Профессор
 
Аватар для neoks
 
Регистрация: 17.03.2010
Сообщений: 689
Репутация: 41407

По умолчанию Re: Запрет парсинга сайта

Смотрите в подписи
P.S: Софт для vps
__________________
ISPCore - Защита сайта от кибератак (free software)
AntiBot - Блокирует парсеры, дорвеи, клонировщики
QKPay - Прием платежей на сайте без посредников и модерации
neoks вне форума   Ответить с цитированием
Сказали спасибо:
Старый 13.06.2018, 20:37   #3
Оптимизайка
Академик
 
Аватар для Оптимизайка
 
Регистрация: 11.03.2012
Адрес: 127.0.0.1
Сообщений: 3,592
Репутация: 527734

По умолчанию Re: Запрет парсинга сайта

spanjokus, если у вас VPS и используете nginx, напишите в личку, есть эффективное решение.
__________________
Слабый Банан? Твой малыш станет больше.
Оптимизайка вне форума   Ответить с цитированием
Старый 13.06.2018, 20:54   #4
swank
Студент
 
Регистрация: 11.05.2018
Сообщений: 9
Репутация: 10
Социальные сети Аккаунт в Telegram

По умолчанию Re: Запрет парсинга сайта

spanjokus, Надежно запретить парсить сайт можно только удалив сайт, все остально это только препятствия, которые усложняют парсить сайт, но не как не запрещают.
Относительно сильным(и то при достаточном количестве страниц на сайте) препятствием можно считать только анализ запросов на стороне сервера и блок IPv4 при обнаружении парсинга, это требует дополнительных затрат на проксы при парсинге и парсить в итоге может стать не выгодно или просто прийдется парсить очень медленно.
Все остальные "эффективные защиты" восновном обходятся на раз-два.
swank вне форума   Ответить с цитированием
Старый 15.06.2018, 11:44   #5
tmatm
Optimizator.Ru
 
Аватар для tmatm
 
Регистрация: 22.04.2006
Сообщений: 544
Репутация: 54596

По умолчанию Re: Запрет парсинга сайта

Если бот только один и туповатый, а у вас широкий, свободный, безлимитный канал и есть несколько гигов на диске, то, определив бота, можно ему подсунуть вместо каждой страницы какую-нибудь абракадабру на несколько гигов. Иногда таким образом можно повесить бота, т.к. у него закончится место на диске. Либо же подсунуть что-нибудь типа PHP-шелла, чтобы потом получить доступ к серверу с ботом.
__________________
Optimizator.Ru — регистрация и продление доменов в RU-CENTER и REG.RU:
RU, РФ от 150 р.; CLUB от 35 руб.; 3-й уровень — 103 р. + REG.RU
Будем признательны за отзывы о нашем сервисе.
tmatm вне форума   Ответить с цитированием
Старый Вчера, 08:03   #6
Andreyka
Настройщик серверов
 
Аватар для Andreyka
 
Регистрация: 19.02.2005
Адрес: Odessa
Сообщений: 12,731
Репутация: 391399
Отправить сообщение для Andreyka с помощью ICQ Отправить сообщение для Andreyka с помощью AIM Отправить сообщение для Andreyka с помощью MSN Отправить сообщение для Andreyka с помощью Yahoo Отправить сообщение для Andreyka с помощью Skype™ Send Message via Jabber to Andreyka
Социальные сети Профиль на Хабрахабре

По умолчанию Re: Запрет парсинга сайта

Представляю себе бота для парсинга, который выкачивает архив с PHP шеллом и устанавливает его у себя...
__________________
Взлом шифрованной файловой системы LUKS - реальность!
Andreyka вне форума   Ответить с цитированием
Сказали спасибо 2 пользователей:
Старый Вчера, 17:52   #7
Оптимизайка
Академик
 
Аватар для Оптимизайка
 
Регистрация: 11.03.2012
Адрес: 127.0.0.1
Сообщений: 3,592
Репутация: 527734

По умолчанию Re: Запрет парсинга сайта

Цитата:
Сообщение от Andreyka Посмотреть сообщение
Представляю себе бота для парсинга, который выкачивает архив с PHP шеллом и устанавливает его у себя...
Представьте бота, который выкачивает специально созданный для него "документ" и при попытке его анализа своими кривыми регулярками падает по нехватке памяти или CPU и больше не беспокоит, пока хозяин не перезагрузит его
Оптимизайка вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 02:45. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны