Vin_cent

Vin_cent
Рейтинг
171
Регистрация
22.01.2010
Просел доход на адсенс

Да... адсенс сошёл с ума. Где-то видимо опять накосячили. Доход ниже нижнего за сегодня.

Защита от дебильного сграбливания не вредящая ботам.

Пожалуйста, мой список (в нём весь амазон, и немного других). Хороших в списке нет:

-A INPUT -s 95.211.0.0/16 -j DROP

-A INPUT -s 95.211.208.0/24 -j DROP

-A INPUT -s 162.213.248.0/24 -j DROP

-A INPUT -s 162.213.249.0/24 -j DROP

-A INPUT -s 162.213.250.0/24 -j DROP

-A INPUT -s 162.213.251.0/24 -j DROP

-A INPUT -s 162.213.253.0/24 -j DROP

-A INPUT -s 192.64.112.0/24 -j DROP

-A INPUT -s 192.64.113.0/24 -j DROP

-A INPUT -s 192.64.114.0/24 -j DROP

-A INPUT -s 192.64.115.0/24 -j DROP

-A INPUT -s 192.64.116.0/24 -j DROP

-A INPUT -s 192.64.117.0/24 -j DROP

-A INPUT -s 192.64.118.0/24 -j DROP

-A INPUT -s 192.64.119.0/24 -j DROP

-A INPUT -s 198.187.28.0/24 -j DROP

-A INPUT -s 198.187.29.0/24 -j DROP

-A INPUT -s 198.187.30.0/24 -j DROP

-A INPUT -s 198.187.31.0/24 -j DROP

-A INPUT -s 199.188.200.0/24 -j DROP

-A INPUT -s 199.188.201.0/24 -j DROP

-A INPUT -s 199.188.202.0/24 -j DROP

-A INPUT -s 199.188.203.0/24 -j DROP

-A INPUT -s 199.188.204.0/24 -j DROP

-A INPUT -s 199.188.205.0/24 -j DROP

-A INPUT -s 199.188.206.0/24 -j DROP

-A INPUT -s 199.188.207.0/24 -j DROP

-A INPUT -s 91.194.84.0/23 -j DROP

-A INPUT -s 91.194.84.0/24 -j DROP

-A INPUT -s 91.194.85.0/24 -j DROP

-A INPUT -s 108.59.0.0/20 -j DROP

-A INPUT -s 162.210.192.0/21 -j DROP

-A INPUT -s 192.96.200.0/21 -j DROP

-A INPUT -s 198.7.56.0/21 -j DROP

-A INPUT -s 199.115.112.0/21 -j DROP

-A INPUT -s 207.244.64.0/18 -j DROP

-A INPUT -s 209.58.128.0/18 -j DROP

-A INPUT -s 209.192.128.0/17 -j DROP

-A INPUT -s 198.74.231.0/24 -j DROP

-A INPUT -s 223.252.42.0/24 -j DROP

-A INPUT -s 223.252.43.0/24 -j DROP

-A INPUT -s 223.252.44.0/24 -j DROP

-A INPUT -s 223.252.45.0/24 -j DROP

-A INPUT -s 223.252.46.0/24 -j DROP

-A INPUT -s 173.208.128.0/17 -j DROP

-A INPUT -s 173.208.180.0/24 -j DROP

-A INPUT -s 173.208.250.0/24 -j DROP

-A INPUT -s 192.151.144.0/20 -j DROP

-A INPUT -s 192.187.96.0/19 -j DROP

-A INPUT -s 198.204.224.0/19 -j DROP

-A INPUT -s 199.168.96.0/21 -j DROP

-A INPUT -s 108.59.0.0/20 -j DROP

-A INPUT -s 192.31.184.0/22 -j DROP

-A INPUT -s 192.31.184.0/24 -j DROP

-A INPUT -s 192.31.185.0/24 -j DROP

-A INPUT -s 192.31.186.0/24 -j DROP

-A INPUT -s 192.31.187.0/24 -j DROP

-A INPUT -s 192.184.8.0/21 -j DROP

-A INPUT -s 192.184.8.0/24 -j DROP

-A INPUT -s 192.184.9.0/24 -j DROP

-A INPUT -s 192.184.10.0/24 -j DROP

-A INPUT -s 192.184.11.0/24 -j DROP

-A INPUT -s 192.184.12.0/24 -j DROP

-A INPUT -s 192.184.13.0/24 -j DROP

-A INPUT -s 192.184.14.0/24 -j DROP

-A INPUT -s 192.184.15.0/24 -j DROP

-A INPUT -s 70.39.244.0/23 -j DROP

-A INPUT -s 70.39.246.0/23 -j DROP

-A INPUT -s 70.39.246.0/24 -j DROP

-A INPUT -s 173.192.224.0/20 -j DROP

-A INPUT -s 173.192.240.0/24 -j DROP

-A INPUT -s 173.192.241.0/24 -j DROP

-A INPUT -s 173.192.242.0/24 -j DROP

-A INPUT -s 173.192.243.0/24 -j DROP

-A INPUT -s 173.192.244.0/24 -j DROP

-A INPUT -s 173.192.245.0/24 -j DROP

-A INPUT -s 173.192.248.0/21 -j DROP

-A INPUT -s 173.192.255.0/24 -j DROP

-A INPUT -s 66.147.240.0/20 -j DROP

-A INPUT -s 185.3.40.0/22 -j DROP

-A INPUT -s 74.50.48.0/20 -j DROP

-A INPUT -s 67.228.0.0/18 -j DROP

-A INPUT -s 88.198.0.0/16 -j DROP

-A INPUT -s 184.172.0.0/18 -j DROP

-A INPUT -s 62.212.64.0/19 -j DROP

-A INPUT -s 64.225.0.0/16 -j DROP

-A INPUT -s 5.104.104.0/21 -j DROP

-A INPUT -s 192.243.48.0/20 -j DROP

-A INPUT -s 50.28.0.0/18 -j DROP

-A INPUT -s 185.3.40.0/22 -j DROP

-A INPUT -s 199.217.112.0/21 -j DROP

-A INPUT -s 82.192.64.0/19 -j DROP

-A INPUT -s 91.250.64.0/18 -j DROP

-A INPUT -s 74.208.0.0/16 -j DROP

-A INPUT -s 176.9.0.0/16 -j DROP

-A INPUT -s 64.77.0.0/17 -j DROP

-A INPUT -s 95.211.0.0/16 -j DROP

-A INPUT -s 95.211.208.0/24 -j DROP

-A INPUT -s 198.57.128.0/17 -j DROP

-A INPUT -s 148.251.0.0/16 -j DROP

-A INPUT -s 192.31.184.0/22 -j DROP

-A INPUT -s 192.31.186.0/24 -j DROP

-A INPUT -s 192.185.0.0/18 -j DROP

-A INPUT -s 144.76.0.0/16 -j DROP

-A INPUT -s 31.22.0.0/21 -j DROP

-A INPUT -s 5.135.0.0/16 -j DROP

-A INPUT -s 79.112.0.0/13 -j DROP

-A INPUT -s 192.241.192.0/19 -j DROP

-A INPUT -s 108.162.192.0/21 -j DROP

-A INPUT -s 108.162.196.0/24 -j DROP

-A INPUT -s 67.159.44.0/24 -j DROP

-A INPUT -s 67.159.0.0/18 -j DROP

-A INPUT -s 178.159.248.0/21 -j DROP

-A INPUT -s 178.32.0.0/15 -j DROP

-A INPUT -s 178.32.132.0/24 -j DROP

-A INPUT -s 178.32.133.0/24 -j DROP

-A INPUT -s 178.32.134.0/24 -j DROP

-A INPUT -s 178.32.135.0/24 -j DROP

-A INPUT -s 72.44.32.0/19 -j DROP

-A INPUT -s 67.202.0.0/18 -j DROP

-A INPUT -s 75.101.128.0/17 -j DROP

-A INPUT -s 174.129.0.0/16 -j DROP

-A INPUT -s 204.236.192.0/18 -j DROP

-A INPUT -s 184.73.0.0/16 -j DROP

-A INPUT -s 184.72.128.0/17 -j DROP

-A INPUT -s 184.72.64.0/18 -j DROP

-A INPUT -s 50.16.0.0/15 -j DROP

-A INPUT -s 50.19.0.0/16 -j DROP

-A INPUT -s 107.20.0.0/14 -j DROP

-A INPUT -s 23.20.0.0/14 -j DROP

-A INPUT -s 54.242.0.0/15 -j DROP

-A INPUT -s 54.234.0.0/15 -j DROP

-A INPUT -s 54.236.0.0/15 -j DROP

-A INPUT -s 54.224.0.0/15 -j DROP

-A INPUT -s 54.226.0.0/15 -j DROP

-A INPUT -s 54.208.0.0/15 -j DROP

-A INPUT -s 54.210.0.0/15 -j DROP

-A INPUT -s 54.221.0.0/16 -j DROP

-A INPUT -s 54.204.0.0/15 -j DROP

-A INPUT -s 54.196.0.0/15 -j DROP

-A INPUT -s 54.198.0.0/16 -j DROP

-A INPUT -s 54.80.0.0/13 -j DROP

-A INPUT -s 50.112.0.0/16 -j DROP

-A INPUT -s 54.245.0.0/16 -j DROP

-A INPUT -s 54.244.0.0/16 -j DROP

-A INPUT -s 54.214.0.0/16 -j DROP

-A INPUT -s 54.212.0.0/15 -j DROP

-A INPUT -s 54.218.0.0/16 -j DROP

-A INPUT -s 54.200.0.0/15 -j DROP

-A INPUT -s 54.202.0.0/15 -j DROP

-A INPUT -s 54.184.0.0/13 -j DROP

-A INPUT -s 204.236.128.0/18 -j DROP

-A INPUT -s 184.72.0.0/18 -j DROP

-A INPUT -s 50.18.0.0/16 -j DROP

-A INPUT -s 184.169.128.0/17 -j DROP

-A INPUT -s 54.241.0.0/16 -j DROP

-A INPUT -s 54.215.0.0/16 -j DROP

-A INPUT -s 54.219.0.0/16 -j DROP

-A INPUT -s 54.193.0.0/16 -j DROP

-A INPUT -s 54.176.0.0/15 -j DROP

-A INPUT -s 54.183.0.0/16 -j DROP

-A INPUT -s 79.125.0.0/17 -j DROP

-A INPUT -s 46.51.128.0/18 -j DROP

-A INPUT -s 46.51.192.0/20 -j DROP

-A INPUT -s 46.137.0.0/17 -j DROP

-A INPUT -s 46.137.128.0/18 -j DROP

-A INPUT -s 176.34.128.0/17 -j DROP

-A INPUT -s 176.34.64.0/18 -j DROP

-A INPUT -s 54.247.0.0/16 -j DROP

-A INPUT -s 54.246.0.0/16 -j DROP

-A INPUT -s 54.228.0.0/16 -j DROP

-A INPUT -s 54.216.0.0/15 -j DROP

-A INPUT -s 54.229.0.0/16 -j DROP

-A INPUT -s 54.220.0.0/16 -j DROP

-A INPUT -s 54.194.0.0/15 -j DROP

-A INPUT -s 54.72.0.0/14 -j DROP

-A INPUT -s 54.76.0.0/15 -j DROP

-A INPUT -s 54.78.0.0/16 -j DROP

-A INPUT -s 54.254.0.0/16 -j DROP

-A INPUT -s 54.255.0.0/16 -j DROP

-A INPUT -s 54.179.0.0/16 -j DROP

-A INPUT -s 54.252.0.0/16 -j DROP

-A INPUT -s 54.253.0.0/16 -j DROP

-A INPUT -s 54.206.0.0/16 -j DROP

-A INPUT -s 54.79.0.0/16 -j DROP

-A INPUT -s 175.41.192.0/18 -j DROP

-A INPUT -s 46.51.224.0/19 -j DROP

-A INPUT -s 176.32.64.0/19 -j DROP

-A INPUT -s 103.4.8.0/21 -j DROP

-A INPUT -s 176.34.0.0/18 -j DROP

-A INPUT -s 54.248.0.0/15 -j DROP

-A INPUT -s 54.250.0.0/16 -j DROP

-A INPUT -s 54.238.0.0/16 -j DROP

-A INPUT -s 54.199.0.0/16 -j DROP

-A INPUT -s 54.178.0.0/16 -j DROP

-A INPUT -s 54.95.0.0/16 -j DROP

-A INPUT -s 177.71.128.0/17 -j DROP

-A INPUT -s 54.232.0.0/16 -j DROP

-A INPUT -s 54.233.0.0/18 -j DROP

-A INPUT -s 54.207.0.0/16 -j DROP

-A INPUT -s 188.93.20.0/22 -j DROP

-A INPUT -s 72.167.52.0/22 -j DROP

-A INPUT -s 173.224.208.0/20 -j DROP

-A INPUT -s 203.170.80.0/21 -j DROP

-A INPUT -s 50.1.96.0/19 -j DROP

-A INPUT -s 149.3.128.0/20 -j DROP

-A INPUT -s 67.225.128.0/18 -j DROP

-A INPUT -s 67.227.128.0/17 -j DROP

-A INPUT -s 46.254.20.0/23 -j DROP

-A INPUT -s 198.199.64.0/20 -j DROP

-A INPUT -s 185.35.77.0/24 -j DROP

-A INPUT -s 78.129.128.0/17 -j DROP

-A INPUT -s 78.157.192.0/19 -j DROP

-A INPUT -s 198.143.184.0/21 -j DROP

-A INPUT -s 184.154.0.0/16 -j DROP

-A INPUT -s 185.15.244.0/22 -j DROP

-A INPUT -s 217.79.176.0/20 -j DROP

-A INPUT -s 192.227.164.0/22 -j DROP

-A INPUT -s 50.97.192.0/18 -j DROP

-A INPUT -s 75.126.112.0/20 -j DROP

-A INPUT -s 173.244.212.0/22 -j DROP

-A INPUT -s 50.22.64.0/18 -j DROP

-A INPUT -s 50.116.92.0/22 -j DROP

-A INPUT -s 173.234.232.0/22 -j DROP

-A INPUT -s 173.234.8.0/22 -j DROP

-A INPUT -s 173.234.248.0/21 -j DROP

-A INPUT -s 173.234.164.0/22 -j DROP

-A INPUT -s 5.79.0.0/18 -j DROP

-A INPUT -s 83.149.64.0/18 -j DROP

-A INPUT -s 95.211.0.0/16 -j DROP

-A INPUT -s 5.79.64.0/18 -j DROP

-A INPUT -s 46.165.192.0/18 -j DROP

-A INPUT -s 192.241.192.0/20 -j DROP

-A INPUT -s 192.241.224.0/20 -j DROP

-A INPUT -s 91.224.160.0/23 -j DROP

-A INPUT -s 50.117.64.0/19 -j DROP

-A INPUT -s 50.117.0.0/17 -j DROP

-A INPUT -s 173.208.180.0/24 -j DROP

-A INPUT -s 109.73.168.0/24 -j DROP

-A INPUT -s 107.161.176.0/20 -j DROP

-A INPUT -s 108.163.128.0/18 -j DROP

-A INPUT -s 5.9.0.0/16 -j DROP

-A INPUT -s 180.179.212.0/24 -j DROP

-A INPUT -s 91.232.96.0/23 -j DROP

-A INPUT -s 72.22.192.0/20 -j DROP

-A INPUT -s 192.99.0.0/16 -j DROP

-A INPUT -s 64.49.192.0/18 -j DROP

-A INPUT -s 166.78.128.0/18 -j DROP

-A INPUT -s 198.101.240.0/21 -j DROP

-A INPUT -s 173.199.120.0/22 -j DROP

-A INPUT -s 173.199.114.0/23 -j DROP

-A INPUT -s 173.199.116.0/22 -j DROP

---------- Добавлено 06.05.2014 в 11:19 ----------

Пример, как действовать:

1. Подставляешь IP который нужно забанить тут: https://dazzlepod.com/ip/216.127.94.127/

2. Нажимаешь на ссылку: "ASN AS21844"

3. Попадаешь на сайт: http://bgp.he.net/AS21844

4. Идешь в раздел: "Prefixes v4"

5. Смотришь в описание что за чёрт, что за хостер.... ну и примаешь решение, банить или нет. Там удобно выводится, сразу подсетями. И сразу в iptables закидывай.

Google Apps Free

https://www.google.com/a/вашдомен.com

Google Apps Free
one:
Бесплатной версии на 10 аккаунтов разве больше нету? Что то не пойму, все сервисы перемешали. Где что не найти...

Больше нет. Где-то пол года назад об этом писали.

Резкий скачек дохода вниз

Аналогично. Но я это связываю с тем, что наконец-то мои жалобы на баннеры с "Download" кнопками были услышаны. Теперь я их у себя на сайте не встречаю, а раньше были на каждом углу.

Гугл делает меня счастливым раз в два месяца
XPraptor:
ТС хватит переливать из пустого... - я вам уже ясно сказал что у вас.
Гугл тестирует новые витки своего алго на определенных ключах на определенной выборке сайтов. В момент теста вас показывают необоснованно на первых позициях.

Потом гугл анализирует полученные результаты, и в новом алгоритме внедряет свои наработки. Если при показе на высоких позициях вы попадете в отрицательные корректировки - вам пиз... при внедрении того витка алгоритма, который на вас тестировали.
Если попадете в положительные - подниметесь на совсем в этом алгоритме. Если никуда не попадете - останетесь на месте (надо радоваться что не попадаете в отрицательные хотя бы, а на месте - значит все ок, серьезных проблем нет у сайта )

У меня каждый третий сайт попадает в их группы тестов с такими периодическими приливами трафа, вот сейчас именно решаю эту проблему, как избегать их выборок (сайты что ли похуже делать, или что :) )

Ты в Google отделе поиска работаешь? Где можно еще почитать про тот алгоритм, который ты описал?

Защита от дебильного сграбливания не вредящая ботам.
eN_Slon:
Кому нужно Вас спарсят.
Защиту обойдут с легкостью.

Не встречал еще сайта, который не мог содрать. Бывают упертые, но итог всегда один.

Много разных условий может быть. Сайт 100 страниц - да, глупости что тут банить. А если сайт, допустим, 5млн страниц... Есть же умники, которые и API написать и раздавать могут, основываясь на данных вашего сайта. И вот таких и подобных вылавливать и банить, можно и нужно. Способов много, я привел свой, который мне помогает. Они ж как пьявки... присосутся, и пьют кровь вашего сайта 😂

Средняя нагрузка у моего сервера упала на ~20% после того, как я добавил весь Amazon хостинг в бан :) Минусов никаких, но вот многие роботы-скрипты чувствую обломались. Или хостинг новый им покупать нужно, или прокси... один фиг, геморроя у них прибавилось :)

Гугл делает меня счастливым раз в два месяца

По какому-то одному запросу гугл вас в выдачу возвращает в топ? Или по множеству разных?

Покажите как это выглядит на графике Google Analytics. И из Google Webmaster Tools тоже график поисковых запросов покажите.

Защита от дебильного сграбливания не вредящая ботам.
seocore:
те кто парсят аккуратно Вы их не словите, те кто парсят тупо - их можно пыл можно ограничивать через тот же nginx, БАНить ботов только за то, что они непонятные боты - это глупость, так Вы перебаните реальных юзеров

в фильтрацию трафика от ботов лучше с такими знаниями не лезть, не стоит экономить на железе и правильной настройке сервера, сейчас прикупить дедик с 64Гб ОЗУ можно баксов за 100 месяц, - это всяко лучше, чем потерять 10-15% реальных пользователей, а стало быть и деньги 🍿


столько пустой работы, поберегите нервы ТС 😂

Напиши еще 100 килобайт текста. Занимайся лучше SEO, твои советы, сорри, сео-бредо-текст:) Мегабайты вывел, проценты подытожил, деньги подсчитал... все прикинул и написал, да? 😂

Защита от дебильного сграбливания не вредящая ботам.
znaikin:
Нужно не способы отсечения гадов искать, а настраивать работу сервера и софта так, чтобы присутствие паразитов даже не замечалось.

Так может сразу паразитам дать ссылку на архив с базой данных сайта? И серверу нагрузка меньше, и не заметишь их больше. Тупизм.

Автоматический анализ access log каждый час. Если больше 1000 запросов от одного IP -> алерт в жабер или на мыло. И смотришь, если ИП принадлежит какому-то хостингу - банишь сразу всю подсеть. Если сомневаешься, бань ИП адрес на сутки. Если ИП хороший, добавляй в белый список, чтобы потом алерт не слался.

1... 434445464748495051 ...81
Всего: 809