Попробуйте объединить свой список IP хостингов - Самые разные темы

Предложение вебмастерам по блокированию автоматов RSS

Dybra · 2007-11-20T16:14:56.0000000Z

Вчера с чего-то мне вздумалось проанализировать rss каналы, транслируемые с сайта. После нехитрого cat access_log | grep rss > rsslog был очень сильно шокирован. Тыриют много, часто и без спроса. Решил бороться хоть как-то с этим беспределом. Составляю сейчас по результатом анализа лога "черный список", который скоро попадет в поле deny .htaccess. Думаю так же расширить этот список на диапазон IP хостингов, сайты которых были в этом уличины. Спорить по полезности-бесполезности этого не собираюсь. Просто кто столкнулся с этой же проблемой, готов поделиться списком "нарушителей конвенции" и рассмотреть в личке очередных претендентов на его пополнение (с аргументированными примерами). Тема, конечно, не совсем для Яндекса, но тыриют в основном под "чернуху" для него.

292

anser06

23 ноября 2007, 14:26

#11

Мехалоч:
я отдаю свой контент без проблем, мне не жалко.. ибо я в своем контенте проставляю ссылки на свои ресурсы и тыриться оно вместе со ссылками

PS дайош халявный PR!!!

Современные скрипты запросто вырезают все теги.

292

anser06

23 ноября 2007, 14:28

#12

Dybra:
Парсить страницы автоматом тоже не получится, так как доступ с этих же IP блокируется, то есть защита от скриптов 100% (кроме подмены IP).

Расскажите, как вы отличаете автоматы от нормальных людей? Вот зашли к вам за сутки на сайт с 200 разных IP - и какие вы заблокируете?

84

Dybra

23 ноября 2007, 14:50

#13

Мехалоч:
я отдаю свой контент без проблем, мне не жалко.. ибо я в своем контенте проставляю ссылки на свои ресурсы и тыриться оно вместе со ссылками

PS дайош халявный PR!!!

1. Вырезаются ссылки без проблем

2. Им ссылки не помеха, это доры в основном, где много контента и еще больше всего остального, вплодь до редиректов и пачки банеров, рекламы, которая по объему превышает всю страницу чаще всего. Мог бы дать ссылку на пример, но это уже будет нарушение правил форума.

3. Делается это все на автомате скриптами типа.... ... не, лучше не буду говорить, но много таких.

anser06:
Расскажите, как вы отличаете автоматы от нормальных людей? Вот зашли к вам за сутки на сайт с 200 разных IP - и какие вы заблокируете?

Ну в общем довольно просто: анализируются не все IP, а только те, с которых происходило обращение к rss-каналам. Дальше обычным whois смотрится чей он и принимается решение о блокировке/не_блокировке. Процесс хорошо автоматизируется, я просто гляжу на владельца IP. Если это 100% хостинг - то жестко блокируется весь диапазон IP, принадлежащий этому хостеру. Это это интернет-провайдер, IP остается незаблокированным. Само собой, неприкосновенными являются диапазоны IP поисковиков и им подобным "полезных зверьков". :)

Мы из ВЫКСЫ (http://wyksa.ru)!

355

Deni

23 ноября 2007, 15:43

#14

Ну собственно все ленты я у себя грохнул по умолчанию так как больше спамеров а не людей

Но сайтик просто парсят напрямую.

А я обрабатываю парсеров просто - пару раз в день смотрю айпишники посетителей и если с какого то более 500 обращений то смотрю поведение юзера на сайте. Если видна автоматическая работа И айпишник принадлежит компании оказывающей хостинг то баную всю подсетку.

Туда же попадают и прокси через которые парсят более продвинутые товарищи.

В сутки эта обработка занимает минут 5 если конечно нет массового парсинга.

Хотел написать под это все автоматизированную систему но возникла проблема корректно определять все поисковики. И забил на это.

Яндекс кобласит Хочу обновить Nginx до Помощь в фильтрации ботов

84

Dybra

23 ноября 2007, 16:46

#15

Deni:
Ну собственно все ленты я у себя грохнул по умолчанию так как больше спамеров а не людей

Но сайтик просто парсят напрямую.
А я обрабатываю парсеров просто - пару раз в день смотрю айпишники посетителей и если с какого то более 500 обращений то смотрю поведение юзера на сайте. Если видна автоматическая работа И айпишник принадлежит компании оказывающей хостинг то баную всю подсетку.
Туда же попадают и прокси через которые парсят более продвинутые товарищи.
В сутки эта обработка занимает минут 5 если конечно нет массового парсинга.

Хотел написать под это все автоматизированную систему но возникла проблема корректно определять все поисковики. И забил на это.

Все грохать жалко. :) Многие действительно этим пользуются и даже хотя бы ради их стоит оставить ленты.

Может поделитесь своим списком? Попробую объединить его со своим и буду делиться с народом. Все равно рано или поздно IP всех основных хостингов будут вычисленны. Дело только во времени, но я готов его потратить на это.

Google Updates - апдейты Научите бороться с DDoS-атаками Безопасно ли украинцу хранить

292

anser06

23 ноября 2007, 17:15

#16

Dybra:
Ну в общем довольно просто: анализируются не все IP, а только те, с которых происходило обращение к rss-каналам. Дальше обычным whois смотрится чей он и принимается решение о блокировке/не_блокировке.

А если у меня, как у многих, фид отдается через Feedburner?

[Удален]

23 ноября 2007, 17:18

#17

вырезаются но не все

мне как-то побарабану.. я не жадный

один фиг бороться с этим - анрил

84

Dybra

23 ноября 2007, 20:50

#18

anser06:
А если у меня, как у многих, фид отдается через Feedburner?

Если поток берется непосредственно с вашего сервера, то фильтровать его можно. Если траслируется через чужой - то тут медицина бессильна. Хотя в общем там тоже можно настроить-поковырять, статистика там очень богатая.

Мехалоч:
вырезаются но не все

мне как-то побарабану.. я не жадный

один фиг бороться с этим - анрил

Дело не в жадности. "Вор должен сидеть в тюрьме" (с). Ну или хотябы в ограниченном пространстве своего сервера. Не согласен насчет нереальности борьбы - люблю делать невозможные вещи :) В общем собирание полного списка IP хостингов - дело времени, их всего-то не более 4Г. :)

69

Kolyaj

26 ноября 2007, 07:03

#19

Deni:
Ну собственно все ленты я у себя грохнул по умолчанию так как больше спамеров а не людей

Все сайты сейчас читаю через RSS, потому что банально нет времени просматривать сайты. Думаю, не я один такой.

355

Deni

26 ноября 2007, 12:10

#20

Dybra:
Может поделитесь своим списком? Попробую объединить его со своим и буду делиться с народом. Все равно рано или поздно IP всех основных хостингов будут вычисленны. Дело только во времени, но я готов его потратить на это.

Вот он но там отрезаются и подсети реальных пользователей

Например только что Корбину вырубил нафиг

deny from 78.106.139.254/255.255.0.0

за 2 часа просканировали 15000 страниц

И где то здесь еще есть блокировка скайлинка :) Тоже парсили

deny from 74.6.26.200/255.255.0.0
deny from 84.17.227.131/255.255.0.0
deny from 82.193.107.52/255.255.0.0
deny from 62.149.0.212/255.255.0.0
deny from 195.43.35.210/255.255.0.0
deny from 86.57.190.59/255.255.0.0
deny from 217.16.16.229
deny from 217.16.16.229/255.255.0.0
deny from 193.110.112.102/255.255.0.0
deny from 70.87.63.146/255.255.0.0
deny from 195.112.239.245/255.255.0.0
deny from 195.239.227.130/255.255.0.0
deny from 84.229.211.205/255.255.0.0
deny from 195.239.227.130
deny from 89.178.80.109/255.255.0.0
deny from 212.138.64.173/255.255.0.0
deny from 59.134.153.125/255.255.0.0
deny from 212.12.28.1/255.255.0.0
deny from 66.150.224.245/255.255.0.0
deny from 89.108.82.91/255.255.0.0
deny from 84.19.184.156/255.255.0.0
deny from 194.6.233.1/255.255.0.0
deny from 84.186.98.110/255.255.0.0
deny from 80.93.48.64/255.255.0.0
deny from 195.161.113.191/255.255.0.0
deny from 88.214.215.205/255.255.0.0
deny from 91.76.30.84/255.255.0.0
deny from 87.242.72.157/255.255.0.0
deny from 82.208.105.129/255.255.0.0
deny from 89.109.12.198/255.255.0.0
deny from 83.222.23.105/255.255.0.0
deny from 194.135.22.106/255.255.0.0
deny from 217.197.113.44/255.255.0.0
deny from 217.112.42.21/255.255.0.0
deny from 77.45.163.38/255.255.0.0
deny from 83.234.188.231/255.255.0.0
deny from 81.177.9.28/255.255.0.0
deny from 195.245.211.11/255.255.0.0
deny from 83.217.229.146/255.255.0.0
deny from 80.70.231.106/255.255.0.0
deny from 62.76.169.62/255.255.0.0
deny from 85.17.3.160/255.255.0.0
deny from 66.246.218.156/255.255.0.0
deny from 195.137.160.12/255.255.0.0
deny from 194.153.113.23/255.255.0.0
deny from 217.18.139.167/255.255.0.0
deny from 217.15.129.178/255.255.0.0
deny from 91.149.146.220/255.255.0.0
deny from 87.249.247.126/255.255.0.0
deny from 82.137.190.18/255.255.0.0
deny from 165.228.132.11/255.255.0.0
deny from 213.170.97.250/255.255.0.0
deny from 88.80.54.68/255.255.0.0
deny from 89.253.15.194/255.255.0.0
deny from 213.135.120.213/255.255.0.0
deny from 82.127.108.230/255.255.0.0
deny from 195.162.48.162/255.255.0.0
deny from 85.249.138.130/255.255.0.0
deny from 89.186.244.24/255.255.0.0
deny from 217.10.38.60/255.255.0.0
deny from 64.1.215.164/255.255.0.0
deny from 67.15.70.4/255.255.0.0
deny from 217.24.191.98/255.255.0.0
deny from 209.85.26.34/255.255.0.0
deny from 160.36.57.173/255.255.0.0
deny from 136.145.115.196/255.255.0.0
deny from 152.3.138.4/255.255.0.0
deny from 66.55.151.2/255.255.0.0
deny from 128.8.126.111/255.255.0.0
deny from 130.37.198.243/255.255.0.0
deny from 169.229.50.4/255.255.0.0
deny from 165.230.49.115/255.255.0.0
deny from 129.12.3.74/255.0.0.0
deny from 128.113.226.235/255.255.0.0
deny from 206.12.16.133/255.255.0.0
deny from 130.88.203.26/255.255.0.0
deny from 194.29.178.13/255.255.0.0
deny from 203.178.133.11/255.255.0.0
deny from 133.1.16.172/255.255.0.0
deny from 137.226.138.154/255.0.0.0
deny from 128.8.126.111/255.0.0.0
deny from 140.112.107.82/255.255.0.0
deny from 62.231.243.137/255.255.0.0
deny from 206.207.248.34/255.255.0.0
deny from 210.150.10.93/255.255.0.0
deny from 64.111.210.170/255.255.0.0
deny from 85.223.158.210/255.255.0.0
deny from 195.189.226.208/255.255.0.0
deny from 82.179.84.100/255.255.0.0
deny from 219.93.178.162/255.0.0.0
deny from 62.75.144.248/255.255.0.0
deny from 84.53.194.86/255.255.0.0
deny from 195.224.154.232/255.255.0.0
deny from 211.239.167.163/255.0.0.0
deny from 195.175.37.71/255.255.0.0
deny from 83.81.135.243/255.255.0.0
deny from 158.37.159.21/255.255.0.0
deny from 217.14.208.174/255.255.0.0
deny from 195.111.133.92/255.255.0.0
deny from 72.21.46.98/255.255.0.0
deny from 89.113.75.128/255.255.0.0
deny from 72.232.0.186/255.255.0.0
deny from 81.23.125.102/255.255.0.0
deny from 88.204.251.163/255.255.0.0
deny from 194.44.18.71/255.255.0.0
deny from 66.7.200.97/255.255.0.0
deny from 194.44.18.71/255.255.0.0
deny from 83.149.85.116/255.255.255.0
deny from 81.94.27.35/255.255.0.0
deny from 85.192.135.18/255.255.0.0
deny from 72.233.35.162/255.255.0.0
deny from 80.194.237.246/255.255.0.0
deny from 80.58.205.38/255.255.255.0
deny from 83.99.197.79/255.255.0.0
deny from 83.151.4.82/255.255.0.0
deny from 71.40.50.88/255.255.0.0
deny from 71.41.50.88/255.255.0.0
deny from 71.42.50.88/255.255.0.0
deny from 71.43.50.88/255.255.0.0
deny from 66.98.238.8/255.255.0.0
deny from 24.45.189.189/255.255.0.0
deny from 217.172.29.46/255.255.255.0
deny from 217.172.28.46/255.255.255.0
deny from 70.60.192.67/255.255.0.0
deny from 70.61.192.67/255.255.0.0
deny from 70.62.192.67/255.255.0.0
deny from 70.63.192.67/255.255.0.0
deny from 87.226.250.4/255.255.0.0
deny from 69.61.78.244/255.255.0.0
deny from 70.60.255.255/255.255.0.0
deny from 70.61.255.255/255.255.0.0
deny from 70.62.255.255/255.255.0.0
deny from 70.63.255.255/255.255.0.0
deny from 80.252.251.251/255.255.0.0
deny from 85.140.95.252/255.255.255.0
deny from 85.140.94.252/255.255.255.0
deny from 85.140.92.240/255.255.255.0
deny from 85.140.93.125/255.255.255.0
deny from 85.140.91.125/255.255.255.0
deny from 85.140.30.170/255.255.255.0
deny from 85.140.31.170/255.255.255.0
deny from 85.140.32.170/255.255.255.0
deny from 85.140.33.170/255.255.255.0
deny from 85.140.34.170/255.255.255.0
deny from 85.140.35.170/255.255.255.0
deny from 85.140.36.170/255.255.255.0
deny from 85.140.37.170/255.255.255.0
deny from 85.140.38.170/255.255.255.0
deny from 85.140.39.170/255.255.255.0
deny from 85.140.40.170/255.255.255.0
deny from 85.195.123.24/255.255.255.0
deny from 80.80.111.200/255.255.0.0
deny from 86.7.77.17/255.255.0.0
deny from 216.255.177.180/255.255.0.0
deny from 220.53.224.30/255.255.0.0
deny from 216.104.33.118/255.255.0.0
deny from 216.194.106.21/255.255.0.0
deny from 87.237.119.190/255.255.255.0
deny from 87.237.118.190/255.255.255.0
deny from 38.100.22.127/255.255.0.0
deny from 72.55.191.255/255.255.0.0
deny from 66.229.132.68/255.255.0.0
deny from 65.186.70.50/255.255.0.0
deny from 87.240.41.187/255.255.255.0
deny from 79.178.92.79/255.255.0.0
deny from 75.67.131.28/255.255.0.0
deny from 65.186.70.50/255.255.0.0
deny from 208.102.75.98/255.255.0.0
deny from 79.178.92.79/255.255.0.0
deny from 81.34.207.145/255.255.0.0
deny from 201.254.90.153/255.255.0.0
deny from 84.252.140.138/255.255.255.0
deny from 82.209.201.94/255.255.0.0
deny from 220.194.59.252/255.255.0.0
deny from 221.202.118.17/255.255.0.0
deny from 213.248.35.129/255.255.0.0
deny from 213.186.117.143/255.255.255.0
deny from 193.200.255.17/255.255.0.0
deny from 217.20.84.194/255.255.0.0
deny from 71.13.115.117/255.255.0.0
deny from 89.188.108.18/255.255.0.0
deny from 72.20.99.44/255.255.0.0
deny from 217.67.123.245/255.255.0.0
deny from 62.80.181.4/255.255.0.0
deny from 213.234.238.49/255.255.0.0
deny from 217.149.17.8/255.255.255.0
deny from 62.141.50.204/255.255.0.0
deny from 75.126.197.47/255.255.0.0
deny from 195.68.159.8/255.255.0.0
deny from 74.53.37.50/255.255.0.0
deny from 74.52.37.50/255.255.0.0
deny from 74.54.37.50/255.255.0.0
deny from 203.121.127.255/255.255.0.0
deny from 38.99.13.117/255.255.0.0
deny from 38.99.13.117/255.255.0.0
deny from 76.106.86.249/255.255.0.0
deny from 71.195.66.46/255.255.0.0
deny from 76.251.227.225/255.255.0.0
deny from 68.100.186.43/255.255.0.0
deny from 68.104.141.229/255.255.0.0
deny from 68.251.74.241/255.255.0.0
deny from 70.82.124.69/255.255.0.0
deny from 85.254.180.225/255.255.0.0
deny from 71.140.106.15/255.255.0.0
deny from 75.42.0.119/255.255.0.0
deny from 68.39.80.37/255.255.0.0
deny from 69.124.254.73/255.255.0.0
deny from 68.198.163.88/255.255.0.0
deny from 69.218.226.142/255.255.0.0
deny from 69.234.29.132/255.255.0.0
deny from 64.53.135.239/255.255.0.0
deny from 68.38.183.151/255.255.0.0
deny from 76.223.44.95/255.255.0.0
deny from 76.19.84.138/255.255.0.0
deny from 24.190.98.109/255.255.0.0
deny from 81.228.201.163/255.255.0.0
deny from 65.75.116.18/255.255.0.0
deny from 71.79.99.113/255.255.0.0
deny from 70.173.216.168/255.255.0.0
deny from 76.240.219.85/255.255.0.0
deny from 68.199.148.86/255.255.0.0
deny from 67.81.182.131/255.255.0.0
deny from 66.188.120.179/255.255.0.0
deny from 67.82.121.141/255.255.0.0
deny from 24.190.22.47/255.255.0.0
deny from 69.208.250.145/255.255.0.0
deny from 75.40.250.104/255.255.0.0
deny from 70.230.198.13/255.255.0.0
deny from 64.252.202.68/255.255.0.0
deny from 75.51.178.212/255.255.0.0
deny from 67.165.221.221/255.255.0.0
deny from 70.238.0.164/255.255.0.0
deny from 69.236.244.228/255.255.0.0
deny from 68.97.60.204/255.255.0.0
deny from 71.227.208.73/255.255.0.0
deny from 70.185.239.53/255.255.0.0
deny from 62.64.98.142/255.255.0.0
deny from 142.167.38.144/255.255.0.0
deny from 69.137.22.119/255.255.0.0
deny from 68.194.193.99/255.255.0.0
deny from 70.178.141.250/255.255.0.0
deny from 67.80.143.215/255.255.0.0
deny from 71.200.171.219/255.255.0.0
deny from 69.116.164.212/255.255.0.0
deny from 76.19.214.189/255.255.0.0
deny from 68.75.177.19/255.255.0.0
deny from 24.247.249.25/255.255.0.0
deny from 72.187.137.116/255.255.0.0
deny from 76.23.192.201/255.255.0.0
deny from 76.31.209.197/255.255.0.0
deny from 72.213.61.30/255.255.0.0
deny from 70.249.186.17/255.255.0.0

Боты достали, портят поведенческие, Яндекс кобласит Падают просмотры на ютуб

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов

Переиграть и победить: как анализировать конкурентов для продвижения сайта

Предложение вебмастерам по блокированию автоматов RSS