Парсинг сайтов

108

antonio83

7 августа 2018, 13:13

2016

Здравствуйте. Кто подскажет что за зверь такой http://totgor(точка)com парсит сайты на ура. Как от него избавится?

48

Максим Гопкало

11 августа 2018, 22:07

#1

Блокировку поставить по ip или адресу, капчу поставить, поставить ограничение по кол-ву обращений с одного ip или устройства.

333

XPraptor

12 августа 2018, 08:20

#2

Да это кто-то из дороделов бойлерпайп тестирует :)

Видимо вы случайно попали в его список, не волнуйтесь, когда пройдет скан всего сайта вашего - видимо больше вы не попадете к нему.

65

edvago63

12 августа 2018, 08:31

#3

В файле .htaccess делаешь запись

#

Order Deny,Allow

Deny from 185.197.74.181.

#

#185.197.74.181. - ip сайта http://totgor(точка)com

108

antonio83

12 августа 2018, 09:29

#4

XPraptor:
Да это кто-то из дороделов бойлерпайп тестирует :)
Видимо вы случайно попали в его список, не волнуйтесь, когда пройдет скан всего сайта вашего - видимо больше вы не попадете к нему.

Дело в том, что туда попал не один мой сайт, а стразу три. Интересно то что в выдаче google нет ни одной страницы моего сайта, а вот в Яндексе все мой страницы присутствуют в выдаче. Это же полные дубли. Где тогда уникальность текста и кого посчитают первоисточником? И я проверял не только свои сайты там присутствуют огромное множество других хороших сайтов. Мне кажется стоит задуматься.

Спасибо все заблокировал в файле .htaccess. Пропало все это г…о 🙅

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы