Scan-interfax или воровство контента в масштабах страны

EM
На сайте с 25.05.2006
Offline
55
EvM
#31

macrobo: Вы воспользовались предоставленной Владиславом возможностью убедиться в том что SCAN не предоставляет доступ своим пользователям к публикациям, загруженным без подписания договора? СКАН в данном случае ничем не отличается от Yandex и Google, предоставляя только поиск без доступа к полным текстам публикаций. Полный текст публикаций доступен только из тех источников, с которыми у Интерфакс заключены соответствующие договора.

Mik Foxi
На сайте с 02.03.2011
Offline
1139
#32

EvM, яндекс и гугл понимают и выполняют рекомендации в роботс, а эта ерунда даже юзер агента не имеет. + от яндекса и гугла есть траф.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ Форум на замену серчу: https://foxi.biz/
VK
На сайте с 29.11.2013
Offline
0
#33

То что бот никак не представляется - это была наша техническая недоработка.

Теперь бот в User-Agent будет отдавать: "Mozilla/5.0 (compatible; InterfaxScanBot/1.0; http://scan-interfax.ru)" (обновление планируется сегодня вечером)

В будущих релизах сервиса бот будет обращать внимание на robots.txt и считывать оттуда стандартные правила для поисковиков, например, частоту обращений к серверу, чтобы его не грузить.

О том как заблокировать нежелательных ботов можно почитать тут: http://www.thesitewizard.com/apache/block-bots-with-htaccess.shtml

Например, вот такая конструкция в .htaccess подойдет (не проверял):

BrowserMatchNoCase InterfaxScanBot bad_bot

Order Deny,Allow
Deny from env=bad_bot

Еще раз просим прощения, кому наш робот доставил какие-то неудобства.

LEOnidUKG
На сайте с 25.11.2006
Offline
1757
#34

EvM,вы чей клон?

СКАН в данном случае ничем не отличается от Yandex и Google

Отличается. Он НЕ Яндекс и он НЕ Гугл.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
[Удален]
#35

Интересно, а юридически чем этот "интерфакс" отличается от яндекса и гугла? Как вытекает из ГК-4, ничем. Все трое нарушают законы в промышленных масштабах, и зарабатывают на этом. Просто от гугла и яши мы имеем траф, потому и закрываем глаза на их граббинг, который именуем словом "индексация" :)

Тот самый случай, когда законы сильно отстали от реалий сегодняшнего дня и современных технологий.

LEOnidUKG
На сайте с 25.11.2006
Offline
1757
#36
dbond80:
Интересно, а юридически чем этот "интерфакс" отличается от яндекса и гугла? Как вытекает из ГК-4, ничем. Все трое нарушают законы в промышленных масштабах, и зарабатывают на этом. Просто от гугла и яши мы имеем траф, потому и закрываем глаза на их граббинг, который именуем словом "индексация" :)
Тот самый случай, когда законы сильно отстали от реалий сегодняшнего дня и современных технологий.

Я могу приказать яндексу или гуглу не индексировать мой сайт. Этому чуду не возможно было пока не появился этот топик. Так же мы ещё не знаем, как это будет в реальности.

YugForum
На сайте с 14.04.2005
Offline
158
#37
Vladislav Komissarov:
Еще раз просим прощения, кому наш робот доставил какие-то неудобства.

Какой процент Вы отчисляете за использование материалов?

Готовы Вы компенсировать мне за использование моих?

MyAmeli.ru (http://MyAmeli.ru)
SK
На сайте с 10.08.2010
Offline
25
#38
macrobo:
Нашлись-таки ip адреса этих любителей жить за чужой счёт:
Interfax Moscow Hq Network: 46.28.17.0 - 46.28.17.255

interfax.ru 46.28.17.114
interfax-russia.ru 46.28.17.130
interfax.com 46.28.17.127

Interfax Moscow M1 Network : 46.28.16.0 - 46.28.16.255
spark-interfax.ru 46.28.16.113
scan-interfax.ru 46.28.16.248, 46.28.16.249


Plusinfo Isp Company
interfax-religion.com 82.179.197.137
interfax-religion.ru 82.179.198.35


На данный момент я отправил в бан 46.28.16.248, 46.28.16.249
Но для пущей убедительности, можно обе подсети дропнуть.

Для интересующихся. Я спросил двух администраторов, которые обслуживают сервера нескольких новостных порталов, и они тоже подтвердили, что без какого-либо договора или предупреждения, бот интерфакса полностью высасывает их контент. Вначале ломится на рсс ленту, потом идет по всем новым ссылкам. Бот не имеет user-agent’а.

P.S. Лучше использовать определение не «новость», а «статья» или «материал», так будет меньше путаницы.

Господа, вновь поднимаю тему))

К нам бот ходит с 46.28.16.247

Соответственно, блокировка по IP не гарантирует, что он не начнет ходить потом и с других айпишников.

Поделитесь, кто как решил вопрос?

trahtor
На сайте с 06.12.2005
Offline
405
#39
seo-kit:
Господа, вновь поднимаю тему))
К нам бот ходит с 46.28.16.247
Соответственно, блокировка по IP не гарантирует, что он не начнет ходить потом и с других айпишников.
Поделитесь, кто как решил вопрос?

Выдать банан на диапазон.

B
На сайте с 13.02.2008
Offline
262
#40
LEOnidUKG:
Отличается. Он НЕ Яндекс и он НЕ Гугл.

На самом деле вопрос серьезный. Мне, честно говоря, по барабану сабжевый новостной поисковик. Но если он действительно занимается лишь поиском, как Гуггл и Яндекс, то встает вопрос о правомерности вообще любых поисковых систем.

Поясните пожалуйста в чем заключается правовая претензия? Именно правовая, не техническая.

Аналогичный наезд на Гугл, помню, был в Европе (в Голландии вроде). Тамошние СМИ наехали на Гугловский новостной сервис (где публиковались анонсы новостей). Местный суд пошел на встречу новостным агенствам и запретил Гуглу использовать инфу с их сайтов. Гугл буквально исполнил решение суда и выкинул все эти СМИ не только из новостного сервиса, но и и из основного индекса. Далее был вопль великий, обвинение Гугла в мести и пр... опять побежали в суд...

В итоге я так и не понял, насколько правомерно работают поисковые системы. Логика: "Что положено Юпитеру, не положено быку" меня не убеждает.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий