Сбор ботов

Что Вы имеете ввиду под "сбором ботов гугла"? Если хотите знать сколько раз и с какого ip у Вас был бот, то делаем, примерно, так:

cat access.log |grep Googlebot|cut -f 1 -d " " |uniq -c|sort -n

Если что другое, обьясните более подробно, пожалуйста.

---

VGrey, можно ведь без 'cat' =)

cat access.log |grep Googlebot|cut -f 1 -d " " |uniq -c|sort -n

Моя задача, отфильтроваю юзеров от ботов... Т.е. заходит бот... Скриптик записывает его в текстовый... Заходит еще один, скриптик дописывает....

Заходит юзер, скриптик ничего не пишет...

Но меня волнуют тока боты гугла...

Oshparennij, вам дали строчку, вытаскивающую из лога нужную вам информацию. Добавьте в конце "> файлик.txt" и будет вам счастье.

Ок... извините за вопрос конечно, а куда ее пихать? =)

И что куда еще добавть? про файлик.txt не понял

Вы сначала уточните язык, который знаете и на котором вам нужен это "скриптик"

просто блокировать доступ по шаблону "Google" более чем достаточно а если вам нужны логи заходом и IP адреса ботов то велком в логи nginx.

как то так, а там уже в зависимости от того считать сколько раз с одного IP, сортировать и т.д

из SSH соответственно или на крон поставить команду: cat /var/путь/файл.log | grep google | awk '{print $1}' >> /var/путь/файл.txt

Oshparennij, Попробовал всего один единственный скрипт, вполне устраивает тыц

Гуд... Спасибо!