- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
А я не знаю ИП моего сервера
может поможет ява скрипт который не дает копировать текст... знаете, когда при копипасте вместо пробелов появляются рандомные символы.
Прошу не пинать, так как сам бы рад найти действующий способ от грабинга
а как называется этот скрипт ?
а как называется этот скрипт ?
какой скрипт?
Список мер, которые можно принять не очень большрой
Я обычно делаю следующее
ставлю на странице скрытые, труднонажимаемые(img 1x1 px) ссылки на специальные страницы
на этих страницах
*для основных(нужных мне) поисковиков ссылки и не генерирую
если ajax не работает и есть подозренеие на принадлежность ip cерверу - бан
если перешли по скрытым ссылкам "в глубь" более 2 раз - бан
если за короткое время загружается много страниц - редирект на страницу с проверкой на бота
если есть свободные ресурсы, то генерю для таких ботов очень занятный текст на страницах.
Так вы перебаните всех ботов (включая поисковых). Потому что.
Грабер контента (сателитостроителей и говносайтоклепателей) ничем не отличается от бота Яндекса, Гугла и т.п. Причем может ходить под юзер агентами этих поисковиков, собственно так оно и делается. А ip адресов поисковиков вы всех не знаете.
Потому единственный выход - следить за активными ботами, вручную анализировать их ip и банить конкретные ip или подсетки.
я не верю )
предьявите факты
Понятно. Вы не в состоянии сделать Reverce IP Lookup. Судя по остальным постам вы абсолютно "не в теме" и начитались про страшных грабберов. Это действительно аппорт. Проверить можно сделав host <ip> если у вас есть ssh до хостера. Ну или через http://www.iwebtool.com/reverse_ip?domain=194.67.18.242.
Ваше недоверие вкупе с абсолютной безграмотностью и тем, что вы простите здесь помощи выглядит, мягко сказать, неадекватно.
Далее. Посылаю вас в google на тему claw-delay. Потом много думайте.
zzeus добавил 20.02.2009 в 00:02
Так вы перебаните всех ботов (включая поисковых). Потому что.
Грабер контента (сателитостроителей и говносайтоклепателей) ничем не отличается от бота Яндекса, Гугла и т.п. Причем может ходить под юзер агентами этих поисковиков, собственно так оно и делается. А ip адресов поисковиков вы всех не знаете.
Потому единственный выход - следить за активными ботами, вручную анализировать их ip и банить конкретные ip или подсетки.
феерический бред. все нормальные поисковики умеют claw-delay. от левых ботов и грабберов отлично спасает mod_evasive.
феерический бред. все нормальные поисковики умеют claw-delay. от левых ботов и грабберов отлично спасает mod_evasive.
Т.е. предлагаете смотреть делает ли бот указанные в роботс зарержки между парсингом страниц? Так такое и в граберах очень давно есть, причем даже в пабликовских, мои самописные граберы умеют анализировать и роботс и я сам по дефолту ставлю задержку, чтоб не уложить хост, который парсю.
А к примеру Яхо ложил на такие указания и частенько грузит сервера жестким парсингом, не обращая внимания ни на какие указания...
Так что это совсем не выход. А вот Reverce IP Lookup и просмотр whois ip адреса - это выход, Яндекс не будет ходить с ip датацентра кейвеб, где абузы хорошо держат и такой софт оттуда на ура работает...
Т.е. предлагаете смотреть делает ли бот указанные в роботс зарержки между парсингом страниц? Так такое и в граберах очень давно есть, причем даже в пабликовских, мои самописные граберы умеют анализировать и роботс и я сам по дефолту ставлю задержку, чтоб не уложить хост, который парсю.
А к примеру Яхо ложил на такие указания и частенько грузит сервера жестким парсингом, не обращая внимания ни на какие указания...
Так что это совсем не выход. А вот Reverce IP Lookup и просмотр whois ip адреса - это выход, Яндекс не будет ходить с ip датацентра кейвеб, где абузы хорошо держат и такой софт оттуда на ура работает...
Если робот левый и не понимает claw-delay его забанит mod_evasive
Делай сессию.
Если сессии нет - при заходе на страницу редирект на страницу где яваскрипт с редиректом обратно + установка сессии.