Парсируют сайты с шаблонами - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 09.08.2018, 08:51   #1
Студент
 
Регистрация: 27.05.2018
Сообщений: 14
Репутация: 10

По умолчанию Парсируют сайты с шаблонами

Добрый день! Обнаружил много парсеров, которые копируют сайты сразу с шаблонами. Пример http://loba.extremetowingllc.com/1790.google
http://loba.extremetowingllc.com/1397.google
http://loba.extremetowingllc.com/961.google
Есть какая фишка, чтобы не парсили так? прописать мб что в .htaccess ?
Biomusor вне форума   Ответить с цитированием

Реклама
Старый 09.08.2018, 14:09   #2
foxi
Mik Foxi
 
Аватар для foxi
 
Регистрация: 03.03.2011
Адрес: Budva
Сообщений: 8,857
Репутация: 1001082
Социальные сети Аккаунт в Telegram

По умолчанию Re: Парсируют сайты с шаблонами

Biomusor, ну руками смотреть с каких ip адресов много обращений, изучать каждый из этих подозрительных ипов, чтоб нечайно не забанить белых ботов. и банить их в хтасес.
Ну или заюзать https://antibot.cloud/ и не парситься, не будут тогда парсить.
foxi на форуме   Ответить с цитированием
Старый 09.08.2018, 18:12   #3
Апокалипсис
председатель колхоза
 
Аватар для Апокалипсис
 
Регистрация: 02.11.2008
Сообщений: 2,978
Репутация: 175729

По умолчанию Re: Парсируют сайты с шаблонами

От спарсивания вас ничего не спасет. Единственное что вы сможете - минимизировать нагрузку от ботов. И всё. Кому нужно - спарсит.
__________________
Проведу аудит интернет-магазина: отказы, конверсии, юзабилити: помогу повысить конверсию и продажи.
Услуги технического директора для ваших проектов
Апокалипсис вне форума   Ответить с цитированием
Старый 09.08.2018, 18:36   #4
foxi
Mik Foxi
 
Аватар для foxi
 
Регистрация: 03.03.2011
Адрес: Budva
Сообщений: 8,857
Репутация: 1001082
Социальные сети Аккаунт в Telegram

По умолчанию Re: Парсируют сайты с шаблонами

Апокалипсис, большинство доргенов примитивны как в стартпосте, от них норм защититься можно.
foxi на форуме   Ответить с цитированием
Старый 10.08.2018, 13:10   #5
Safronov
Студент
 
Регистрация: 01.07.2012
Сообщений: 28
Репутация: 2001

По умолчанию Re: Парсируют сайты с шаблонами

Да большинство парсят все автоматом. Сотни или тысячи сайтов, таких антиботы отсеют. Конечно вручную можно парсить все что угодно.
Safronov вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 15:55. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны