- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вот пришел робот. Судя по IP из японии. По поведению точно робот. Спросил robotы.txt и ... смылся. Больше от него никто не призодил. Такой же из Новой Зеландии прискакал. И чего с ними делать? побанить их к чертям или как?
А вот еще звери от nameprotect.com приходят. Или от какого-то китайского исследовательского проекта. ТРафа они жрус всего ничего, не жалко. Так как с ними быть? Плюнуть или всех кто не угоден в бан? Кто как поступает?
Я вообще не обращаю внимания. Это ж сколько времени надо иметь лишнего - забанить всех, кого не знаешь...
На одном из наших проектов вопрос решен просто: есть автоматическая система отслеживания и блокировки "некультурных" роботов - тех, что не соблюдают требования файла robots.txt и мета-тегов Robots. Такие индивидуумы блокируются вплоть до навсегда. Всем прочим разрешено свободное блуждание по серверу (в разрешенных пределах, естественно).
Думаю, это одна из наилучших политик.
LiM, а как ты их делишь на робот-не робот? скрытые ссылки используешь? Или еще как?
у меня по User-Agent отрезается некультурщина :)
Там идет не очень сложный эвристический алгоритм, использующий скрытые ссылки, User-Agent и некоторые другие особенности поведения роботов.
Подробности разглашать я не хочу дабы не было поводов для нарушения нормального функционирования сайта - защита не такая и сложная. Кто захочет - пройдет. Однако, дураков останавливает почти ежедневно вот уже почти два года...