Еще пару полезностей, по теме
grep 'bot' "/data/logs/domainname.tld.access.log" | awk '{ print $12}' | sort | uniq -c | sort -n -k 1 | tail -n 30
Вывести наиболее активных 30 ботов из лога apache (для блокировки по user-agent)
Мой вывод
2 SurdotlyBot/1.0;
3 MegaIndex.ru/2.0;
4 Baiduspider/2.0;
5 Exabot/3.0;
7 YandexImageResizer/2.0;
8 DeuSu/5.0.2;
10 Yahoo!
11 2
14 NT
15 (compatible;
15 Configuration/CLDC-1.1
21 1
22 Uptimebot/1.0;
23 CPU_TIME:
24 SputnikBot/2.3;
43
82 SeznamBot/3.2;
92 Android
128 YandexImages/3.0;
181 YandexNews/3.0;
196 CPU
252 0
331 YandexMetrika/2.0;
460 YandexDirect/3.0;
658 YandexBlogs/0.99;
1031 MJ12bot/v1.4.5;
1658 Googlebot/2.1;
2164 AhrefsBot/5.1;
2684 bingbot/2.0;
16780 YandexBot/3.0;
По сути, основных под бан, это 2164 AhrefsBot/5.1; + 1031 MJ12bot/v1.4.5; + 24 SputnikBot/2.3;
Благодарю!
Если не затруднит, напишите бегло пример. Разберу, может быть приму на вооружение.
Возмездие? Помощь. Нагрузили площадку? Вбили ключ "бот мегаиндекс грузит впс" или "с 148.251.236.167 превышение нагрузки" Зашли на серч, применили правила из темы.
А еще, вот они головой думать не пробовали? Поиграются год два, скинут IP, а он потом в hetzner кому-то в наследство перейдет. Со всеми вытекающими. ...ка бесит.
Зачем? Площадки посещают десятки скан-ботов в день. Каждым что-то нужно написать? Нет, мне от них ничего не нужно. Про них мне все понятно.
Кому им? (еще символы)
У меня нет заказов в Черногории. Тут речь идет о блокировке резидентов РФ (потенциальной) по аналогии с блокировкой резидентов полуострова Крым в системах adsense и adwords
Все остальные умозаключения исходят из этих двух предположений.
Вы тут начали сравнивать белое с теплым. Надо сначала разобраться в типах сайтов, нишах, трафике, товаре или услуге, который продается и так далее.
А то взяли тут цифры накидали, что-то эфемерное посравнивали... Ерунда какая-то. Речи не шло о том, что русских в России живет меньше, чем русских в Литве, Латвии и Эстонии. Больше. Речь шла о том, что блокировкой адсенса и адвордса на территории РФ жизнь вебмастерская не заканчивается. Я привел пример выше со своим конкретным случаем.
Если у вас будет русскоязычный сайт рекламирующий рент-э-кар в Черногории то естественно ваши 20 кликов с конвертацией в 2 заказа из региона Черногория принесут вам больше денег чем 20 кликов с конвертацией в 0 заказов в регионе Россия.
Просто как-то надо сначала разобраться с тем, что с чем вы сравниваете, а потом уже сравнивать. У всех же тут разные сайты. Разные задачи. Понятно, что если у вас был сайт ЦА которого РФ, и вам отключили adwords на территории РФ, то да, это конечно труба. Но это локальная труба. А не глобальная.
Вы наверное меня не понимаете. Если власть США распорядится в отношении Google сделать с резидентами РФ тоже самое, что они сделали в отношении резидентов Крыма, то Adsense отключит все аккаунты всех резидентов РФ. Если ваш аккаунт будет зарегистрирован на нерезидента РФ (пример с ВНЖ в Черногории выше), то его соответственно не отключат. Понимаете о чем я? Ни о чем другом я не говорил. Рапида тут совершенно не при чем. Вывод денег для аккаунта заведенного на нерезидента РФ (пример с Черногорией выше) происходит совсем по другим правилам. Например на карту Черногорского банка.
Так что русскоязычный сайт или нет не важно. Блокировка будет происходить (если будет) не по языку сайта, а по резидентству тех на кого заведен аккаунт в Adsense---------- Добавлено 20.06.2015 в 21:08 ----------
Все так. Не будет рекламодателей, которые резиденты РФ, но никуда не денутся рекламодатели, которые резиденты Украины или Грузии или Латвии.
У меня например в магазине недавно был заказ. Заказ сделал житель Санкт-Петербурга (указано в регистрационных данных), но сделал его из Латвии. Переход был по контекстной рекламе adwords транслируемой на территорию Латвия (статса показывает переход из Латвии)
В случае блокировки adsense и adwords на территории РФ я все равно получил бы этот заказ, так как он пришел с Латвии.
Ну и так и далее.---------- Добавлено 20.06.2015 в 21:12 ----------А так вообще они (Google) конечно очень мало вероятно что захотят по собственной инициативе терять такой объем денег. Одно дело отключить Крым. Совсем другое отключить РФ
Ну если это значимые деньги то
ВНЖ -> аккаунт в adwords на не резидента РФ (то есть на вас с вашим ВНЖ) -> доменная зона не в ru (.org .com .net .etc) -> хостинг вне РФ
А там русскоязычный сайт или нет, не важно. Блокировать будут (если будут) по данным whois, а не по русским буквам на сайте.
