Т.е. все перечисленные выше боты честно читают и выполняют robots?
Dreammaker, что лучше в плане производительности - правила в robots.txt или в .htaccess?
SeaBreeze, сначала нужно смотреть что именно дает нагрузку, если MySQL (а наверняка он) - поиграть с индексами и конфигурацией, по возможности добавить памяти на индексы.
ОФФ. Кто хостер? Судя по пингу сервер в Eserver, но там нет VPS 😕
Ставится nginx и ничего кроме канала дисковой подсистемы не напрягается.
Смотреть на vps
WhiteFalke, strip_tags()
И зачем вам с такой посещаемостью сервер?
adivlin, если на хостинге есть поддержка PHP или Perl то можно собирать логи самостоятельно.
800х600
квадратик справа от кнопки Пересчитать
Если во время проверки закрыть вкладку проверяемого сайта, то проверка не прекращается.
Я шкалу прогресса (сколько процентов от работы было выполнено) не вижу. То что голубой квадратик является индикатором работы догадался не сразу :(
Надо полагать, web-сервис, через интернет-обозреватель, "по-русски" браузер :)
По поводу экспорта в текстовый файл не понял, эта возможность уже есть (где именно?) или будет сделана?
Хорошо бы добавить на выход проверку "Желаете сохранить результаты перед выходом?".