Pyro22#: На одном новостнике стали задерживаться к индексации свежие новости, хотя всегда залетали в выдачу за минуты. Задержка примерно на 5-6 часов, иногда доходит до 10. В бурже тоже вижу такие же жалобы. Кто-нибудь заметил подобное у себя?
softerra#: ТС - эти хоть заблокировал, когда логи выкладывал? Блокируй их жестко - никаких 200, перебьются. Пускай носами в стену долбятся. У них не сотни сеток, а всего по несколько штук.
я уже насобирал 10 тыс сетей (диапазоны от ip х.х.х.0 до х.х.х.255). Скорей всего процентов 5% живых попалось, но не без этого.... Зато рекламу не посмотрят
На одном новостнике стали задерживаться к индексации свежие новости, хотя всегда залетали в выдачу за минуты. Задержка примерно на 5-6 часов, иногда доходит до 10. В бурже тоже вижу такие же жалобы. Кто-нибудь заметил подобное у себя?
у нас заходит в течении 5 минут
Юзер агенты, референс ссылки - ботоводы нарисуют любые.
IP в логах - они не нарисуют никак ..
Мочить диапазонами ..
Всех серверных ..
это и делаю :)
В htaccess запрет включен? Или в Nginx
<IfModule headers_module>Header set X-Frame-Options: SAMEORIGIN
</IfModule>
стоит
Скинь сюда еще свежих логов кучку ..
в личке
Оба диапазона из твоих логов, которые ты раньше выкладывал.
значит первый больше не ходил. Я в тот момент, когда выкладывал, изучал мат часть и искал пути решения проблемы
ТС - эти хоть заблокировал, когда логи выкладывал?
Блокируй их жестко - никаких 200, перебьются. Пускай носами в стену долбятся. У них не сотни сеток, а всего по несколько штук.
я уже насобирал 10 тыс сетей (диапазоны от ip х.х.х.0 до х.х.х.255). Скорей всего процентов 5% живых попалось, но не без этого.... Зато рекламу не посмотрят