Зачем сканируют сайт?

может весь сайт себе хотел сохранить прогой типа Teleport Pro

Такое бывает часто. У крупных сайтов почти каждый день.

Делают это:

1) Хакеры ищущие уязвимости или определенные скрипты на сайте.

2) Желающие скачать сайт или изучить его структуру.

Желающие сохранить ценный сайт для истории, если тот вдруг накроется 😂

Наверное в таких случаях тоже следует поискать уязвимые места...

Успел четверть страниц просканировать, но потом я его забанила :)

Теперь не знаю, что от него ожидать, никто ему не помешает с другого айпи вылезти.

А нет никаких защит от таких прог, типа Teleport Pro?

Почему бы и не сохранить :D, если уж сайт серьезный.

dokxpi добавил 01.02.2011 в 08:15

Дополнение архива - WikipediaLokalhost :D

Есть, попробуйте, например, статистику Рамблера попарсить.

Обычно ограничивается кол-во запросов в единицу времени (с одного IP/UserAgent/Cookie).

Только о посетителях не забывайте - у меня чуть не матом ругались, когда были слишком жеские ограничения. Не ленились, пис`али на Email и распекали так, что аж стыдно было.

Зачем сканируют - каждый за своим.

Кто-то внешние ссылки собирает, кто-то ключевики, кто-то дубли ищет и битые страницы (в основном сами вебмастера, но иногда я чьи-нибудь сайты проверяю своим пауком).

Кто-то - вирусы на сайте ищет, есть и такие "доброхоты". Кто-то авторский контент или распространение нелицензионного ПО.

Сейчас армию своих роботов-пауков может сделать каждый.

Есть отлаженный анализатор логов, который ставит ограничение на количество запросов с одного IP. Заодно обнаруживает ддос атаки HTTP флуд.

Обнаруженные IP автоматически заносит в фаервол.

Установка 100$.

Да я и без них себе на localhost сохраню, спасибо им за беспокойство :D

Самое интересное, что ни один счетчик не зафиксировал, что четверть сайта была скачана, статистика везде показывает просмотры страниц без учета работы этого бота.

Вы про счетчик ливеинтрнет?

Боты не вызывают счетчик. Поэтому он их не видит.