Предложение вебмастерам по блокированию автоматов RSS

123 4
Dybra
На сайте с 23.10.2005
Offline
84
2712

Вчера с чего-то мне вздумалось проанализировать rss каналы, транслируемые с сайта. После нехитрого

cat access_log | grep rss > rsslog

был очень сильно шокирован. Тыриют много, часто и без спроса. Решил бороться хоть как-то с этим беспределом. Составляю сейчас по результатом анализа лога "черный список", который скоро попадет в поле deny .htaccess. Думаю так же расширить этот список на диапазон IP хостингов, сайты которых были в этом уличины. Спорить по полезности-бесполезности этого не собираюсь. Просто кто столкнулся с этой же проблемой, готов поделиться списком "нарушителей конвенции" и рассмотреть в личке очередных претендентов на его пополнение (с аргументированными примерами). Тема, конечно, не совсем для Яндекса, но тыриют в основном под "чернуху" для него.

Мы из ВЫКСЫ (http://wyksa.ru)!
anser06
На сайте с 11.03.2006
Offline
292
#1

Бросьте вы это занятие - борьбу со скриптами. Главное - не отдавать в RSS весь текст, а анонсы пусть все читают и публикуют где хотят. Если юзеру будет интересно - он найдет весь текст, там даже иногда ссылку ставят. А специальные каталоги RSS-лент - полезная штука, поскольку продвигают ваш сайт или хотя бы тИЦ увеличивают.

Гораздо большую опасность представляют не RSS-воры, а те, кто тянет статьи целиком. Но этих товарищей по IP не забанить...

Dybra
На сайте с 23.10.2005
Offline
84
#2
anser06:
Бросьте вы это занятие - борьбу со скриптами. Главное - не отдавать в RSS весь текст, а анонсы пусть все читают и публикуют где хотят. Если юзеру будет интересно - он найдет весь текст, там даже иногда ссылку ставят.

Почему это бросить? Если оно не сильно напряжно, то можно и побороться. Они и анонсами не брезгуют, просто берут их больше и размещают на страницах (дорах и т.д.). Притом юзерам это ни в коей мере не опасно, закрываются только IP хостингов, которые подделать сложнее. От ручного копипастинга это все равно не спасает, конечно, но главное закрыть "низковисящие яблоки", а против грамотных тырильшиков это конечно не спасет все равно.

Первый вариант списка уже готов, воткнут в .htaccess. Кому надо - могу дать. Безвоздмездно, т.е. даром :)

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#3

Dybra, я правильно понял, что вы забанили всех, кто скачивал RSS-потоки с вашего сайта?

Dybra
На сайте с 23.10.2005
Offline
84
#4
Gray:
Dybra, я правильно понял, что вы забанили всех, кто скачивал RSS-потоки с вашего сайта?

Конечно нет! :) Хорошие читатели (люди, Яндекс, несколько rss каталогов и поисковики) остались. Блокируется доступ с сайтов, которые из rss каналов выкачивают информацию и напрямую выкладывают сразу на страницы, в большинстве случаев это дорвеи или страницы, автоматически сгенерированные для продажи рекламы с них.

Kolyaj
На сайте с 28.03.2006
Offline
69
#5
Dybra:
Хорошие читатели

А по какому принципу определялись хорошие читатели?

fima32
На сайте с 12.01.2006
Offline
132
#6
Kolyaj:
А по какому принципу определялись хорошие читатели?

У них наверно в юзер агенте написано "Good reader" 😂

Идея у ТС хорошая, но врядли что-то кардинально изменится. Вы лучше при отдавании RSS делайте подмены контента(буковки русские на англицкие меняйте, очепятки, синонимы и т.д.), тогда Ваш контент будет очень уникальным

Dybra
На сайте с 23.10.2005
Offline
84
#7
Kolyaj:
А по какому принципу определялись хорошие читатели?

В общем-то просто. Хорошие читатели не будут обращаться к сайту с IP хостингов. Максимум, кого я тут разрубаю из хороших - это работники самих хостингов.

А по-поводу замены-подмены контекста - это более трудоемко технически, к тому же за это меня в "Яндекс.Новости" думаю попросят удалиться. :)

T
На сайте с 27.06.2006
Offline
179
#8

Мне кажется всё это малорезультативно.

Будут значит парстить страницы, в чём проблема-то ? :)

Всё это погоня за собственной тенью.

Тут нужно законодательством давить, т.к. если захотят постоянно воровать новости/статьи - будут воровать, хоть сервер от интернета отключи.

Dybra
На сайте с 23.10.2005
Offline
84
#9
Trump:
Мне кажется всё это малорезультативно.
Будут значит парстить страницы, в чём проблема-то ? :)
Всё это погоня за собственной тенью.
Тут нужно законодательством давить, т.к. если захотят постоянно воровать новости/статьи - будут воровать, хоть сервер от интернета отключи.

Законодательства у нас можно ждать как у моря погоды, но это ж не значит, что не надо бороться. Парсить страницы автоматом тоже не получится, так как доступ с этих же IP блокируется, то есть защита от скриптов 100% (кроме подмены IP). От людей, само собой, это не поможет.

[Удален]
#10
Dybra:
Вчера с чего-то мне вздумалось проанализировать rss каналы, транслируемые с сайта. После нехитрого
cat access_log | grep rss > rsslog
был очень сильно шокирован. Тыриют много, часто и без спроса. Решил бороться хоть как-то с этим беспределом. Составляю сейчас по результатом анализа лога "черный список", который скоро попадет в поле deny .htaccess. Думаю так же расширить этот список на диапазон IP хостингов, сайты которых были в этом уличины. Спорить по полезности-бесполезности этого не собираюсь. Просто кто столкнулся с этой же проблемой, готов поделиться списком "нарушителей конвенции" и рассмотреть в личке очередных претендентов на его пополнение (с аргументированными примерами). Тема, конечно, не совсем для Яндекса, но тыриют в основном под "чернуху" для него.

я отдаю свой контент без проблем, мне не жалко.. ибо я в своем контенте проставляю ссылки на свои ресурсы и тыриться оно вместе со ссылками

PS дайош халявный PR!!!

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий