Как защититься от парсинга ГСов в новостных агрегаторах?

саппорт яндекс-новостей что ответил?

Нужно просто смириться с этим 🍿

Если бы они ответили, пока молчат. Написал им об этом 3 дня назад.

Яндекс вряд ли исключит их даже из ЯН.

Пока сам попытался найти, вот частые IP (почти ежедневные постоянные "посетители"):

66.102.9.23 ---20,939 26,831 540.73 МБ 25 Апр 2017 - 14:02

66.102.9.25 ---15,936 20,548 417.69 МБ 24 Апр 2017 - 22:36

66.102.9.27 ---15,529 19,776 390.81 МБ 23 Апр 2017 - 06:23

66.102.9.55 ---9,522 11,916 237.00 МБ 18 Апр 2017 - 20:48

66.102.9.59 ---9,333 11,683 227.48 МБ 18 Апр 2017 - 20:48

66.102.9.57 ---9,222 11,646 228.68 МБ 18 Апр 2017 - 20:48

66.102.9.16 ---5,087 6,661 138.67 МБ 25 Апр 2017 - 14:02

66.102.9.19 ---5,063 6,606 139.04 МБ 25 Апр 2017 - 14:00

66.102.9.32 ---3,739 4,743 95.67 МБ 21 Апр 2017 - 13:46

66.102.9.63 ---3,671 4,700 95.96 МБ 21 Апр 2017 - 13:45

66.102.9.35

Возможно ли это IP парсеров? Вроде как Калифорния, у меня сайт российский, траф из РФ преимущественно.

Ну это удел слабых, тем более сайты тупо делают дубли. Все равно есть лазейка в таких схемах, чтобы избавиться от них.

Вы бы вряд ли просто так смирились, чтобы ваш сайт каждый день копировали?

Вот и я не намерен)

ps - это айпишники Гугла, отбой тревоги, уже банить хотел их 🙅

Vadimts, нет, это гугловские адреса. Ищите дальше.

Vadimts, напиши им, попроси не парсить твой сайт иначе будешь подсовывать им материалы экстремистского содержания, а потом жаловаться.

Дальше искать становится проблематично, т.к IP-шников каждый день по 50.000+

Да и определить их просто нереально.

Если сделать запрет в Htacess по реферреру rsute.ru, скорее всего не поможет же?

Там контактная информация фейковая, да и игнорят они письма. Кстати, они как-то выборочно парсят. Могут 2 новости пропустить (только на моем сайте встречается текст), зато потом сразу 5 (проверяю на уникальность)

Парсят с фото?

Без фото, фотографии добавляются как будто руками (другие по теме), но скорее всего тоже автоматически

Это плохо, нас тоже парсят и мы забили... сделать с этим ничего нельзя, банили и писали и потом много новых сайтов появляется

Сори за офтоп, если что, может кому сгодится. wordyou.ru был выставлен на телдери (telderi.ru/ru/viewsite/558671) и наверно кто то его купил. Там был до этого какой то некрасивый сайт на вордпрессе про ислам и, если не ошибаюсь, он находился в гогете, ну по ссылке телдери там описано. Как его продали он получил АГС от яндекса, но снова смотрю уже его нет.