Правильно или "в общем-то" или "вообще-то". :)
Вас, видимо, редко штрафуют. Я к этому давно отношусь спокойно - да, бывают несправедливые, на мой взгляд, штрафы, но чего об стену-то биться?
От штрафов не умирают, не волнуйтесь. :)
В роботсе прописывать, говорите?
Вот у меня в роботсе:
User-agent: *Crawl-delay: 4.5
А вот Ваш бот:
94.77.64.50 - - [18/Oct/2012:00:59:39 +0400] "GET /antiqua/?p=1186 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:39 +0400] "GET /antiqua/?p=2126 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:39 +0400] "GET /antiqua/?p=2126 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:40 +0400] "GET /antiqua/?p=2232 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:40 +0400] "GET /antiqua/?p=2232 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=771 HTTP/1.0" 94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=771 HTTP/1.0" 94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=698 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=857 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=1602 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=2016 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=698 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=857 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=2016 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=1602 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=163 HTTP/1.0"94.77.64.50 - - [18/Oct/2012:00:59:42 +0400] "GET /antiqua/?p=163 HTTP/1.0"
И так 3 часа.
Он у вас robots.txt не читает?---------- Добавлено 18.10.2012 в 10:18 ----------
Это старый код, новый скачай. :) А про то, как в старом сменить кодировку, я тут писал
Нет. Львович очень стойкий, его не сломить. Вот если бы он не давал, это был бы повод задуматься… ;)
Ещё пару карточек выдал, так что всё в порядке, думаю. :)
Нет. Но "слезами горю не поможешь". Сейчас ещё 8 баллов получите. 😒
У сапы, полагаю, эта проблема куда острее стоит, но случаев, когда сапобот создавал бы такую нагрузку (не только со своими сайтами, но и вообще в принципе), что-то я не припоминаю.
Вопрос в подходе - не нужно за раз сайт обегать. Все страницы, имеющиеся на бирже (а не на сайте), рандомно распределяются и бота не видно и не слышно. И компромиссов не нужно - бот работает с максимальной скоростью, нагрузка на серверы не зашкаливает.
И да - пусть они представляются, чтобы было понятно, что за бот.
Именно так было у каждого, кто сменил 2-3 ноутбука. Но причины у всех разные.
Как вариант - перегрелся, если во время работы не вентилировался как следует (забился пылью, лежал на диване и т.д.).
А Вы сидите по ночам и всё это мониторите? Сочувствую.
Да это он сам такой статус поставил, думаю.
