Думаю минимум хостинг и курилка с самым разным сильно отличаются от всего остального.
lagif, только не такой прямолинейный анализ. Задержку между запросами несложно и сделать. И наоборот, два-три человека из-за одного прокси да на хорошем канале тебе активность выше, чем у одного робота создадут. Но если смотреть вдумчиво, то разница видна.
Вот ещё, что очевидно, потому и забыл.
Анализ логов. Большинство автоматически генерируемых запросов хорошо видно. Даже реалтайм.
Причём тот же Гугль очень жёсткие рамки ставит, я несколько раз попадал на блокировку, не пользуясь при этом ничем, кроме браузера. Кстати, очень эффективный метод: скажем, на какой-нибудь 50-й загружаемой странице спросить: а не бот ли вы? И попросить ввести число с картинки.
lagif, если бот к robots.txt идёт с одного IP, а при обращении к контенту меняет IP, то это проблема. Т.е. это уже и троян может быть на многих компьютерах-жертвах.
Если это открытые прокси, то есть методы их определения, самый грубы из которых - обращение по стандартным проксёвым портам на этих IP.
Базы есть (не у меня :)), но они не распространяются - а ну как ты именно бота и создаёшь? :)
greenwood, я не думал, что ты настолько завистлив.
Я тебе легко объясню, почему рассылка рекламирует форум Сурена. Потому как в какой-то момент захотелось отбить денежку за раскрутку бесплатной версии и заработать денежку на дальнейшие выпуски. Одним из ощутимых бонусов за денежку стал доступ к закрытой части форума seochase.com. Скидки на разные программы в обмен на рекламу идут.
Потому и рекламирует Андрей по сути сам себя. Почему не появилось закрытого раздела на searchengines.ru - отдельный вопрос.
Если бы было бы всё так просто, что с кроватями, что с мануальщиками, то людей с проблемами с позвоночником не было бы. Это всё рекламу БАДов и проч. фигни со струей бобра напоминает. Послушаешь и удивляешься, почему люди всё ещё болеют.
Я же написал. Для тех кто не читает - невидимая ссылка. Пользователь туда не ломанётся и вежливый бот - тоже. Тех кто ломится - в чёрный список.
Я имел ввиду разбивку по разделам. Правда немного программировать надо :)
А ты там социалку отключил?
Тот что Яндекс применяет. Невидимая простому пользователю ссылка, закрытая в robots.txt.
Это для невежливых ботов. А для вежливых - обращение к robots.txt.
Каналы бы настроил и узнал бы :)
Если серьёзнее, то ты сам наверное догадываешься, что в дискуссии, которую посещают ради ответов, вся шапка, как и начало дискуссии игнорируются. Зачем читать дважды одно и то же?
А вот реклама, которая перед формой быстрого ответа - заметна. Была, наверное - сейчас её не вижу.
