Мужик Мурманский

Рейтинг
134
Регистрация
27.12.2011
Должность
техник
Pyro22 #:
На одном новостнике стали задерживаться к индексации свежие новости, хотя всегда залетали в выдачу за минуты. Задержка примерно на 5-6 часов, иногда доходит до 10. В бурже тоже вижу такие же жалобы. Кто-нибудь заметил подобное у себя?

у нас заходит в течении 5 минут

А кто-то видел эту инфу в бурже? Я пока только в росс. сегменте об этом читал , что наводит мысли на очередные блокировки. 
softerra #:
Юзер агенты, референс ссылки - ботоводы нарисуют любые.
IP в логах - они не нарисуют никак ..
Мочить диапазонами ..
Всех серверных ..

это и делаю :)

Vladimir #:

В htaccess запрет включен? Или в Nginx

<IfModule headers_module>
Header set X-Frame-Options: SAMEORIGIN
</IfModule>

стоит

softerra #:
Скинь сюда еще свежих логов кучку ..

в личке

softerra #:
Оба диапазона из твоих логов, которые ты раньше выкладывал.

значит первый больше не ходил. Я в тот момент, когда выкладывал, изучал мат часть и искал пути решения проблемы

softerra #:
ТС - эти хоть заблокировал, когда логи выкладывал?
Блокируй их жестко - никаких 200, перебьются. Пускай носами в стену долбятся. У них не сотни сеток, а всего по несколько штук.

я уже насобирал 10 тыс сетей  (диапазоны от  ip  х.х.х.0 до х.х.х.255). Скорей всего процентов 5% живых попалось, но не без этого....  Зато рекламу не посмотрят

softerra #:
194.226.236.0/22
193.0.202.0/24

первого у меня еще нет в базе, зайдет - появится.

второй уже давно записан

softerra #:

Переблокируй подсети и они отвалятся, правда возможно не сразу, они будут переподключать другие диапазоны, но все равно отвалятся ..

этим и занимаюсь последние несколько дней. Только пока ограничиваю контент (рся) и даю другую метрику. Могу им давать страницу проверки "докажи что человек", но наша команда отказалась пока от такого варианта. 

Соберу базу (она уже из 3 млн ip адресов), начну потихоньку показывать проверку на ботов.

Вопрос еще есть: Проверку на ботов отдавать 200 ответ или 403?

200 - заказчик ботов не поймет, что блочу. 403 - поймет и увеличит сетку адресов.... поделитесь опытом

garry69 #:

Браузер, реклама, гномики по проводам, другие возможности... любой вариант выбирайте. Но факт, что узнаёт.

в этом случае нужны доказательства. 

Исходим из логики. Как гугл может узнать о поведенческих на сайте (предположим что это важно для него), если на главной странице сайта нет гугл сервисов. Только через chrome от других юзеров. Но боты же не ходят хромом. Они используют п.о. представляясь хром. 

Делаю выводы что никак гугл не узнает о поведении ботов на главной.


попробуйте меня переубедить

Всего: 250