- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Задолбали всякие глупые поисковики не читающие robots.txt и всякие wgetы и teleportы. Хочу на своем сайте поставить скриптик где-нибудь в незаметном месте на странице. Чтобы видно его было только из кода. Так вот при гете этого линка срабатывает скрипт, который банит по IP плохого человека.(Подразумеваем, что хороший человек не полезет через соурс страницы кликать по всем линкам :) )
Линк на этот скриптик ставим между <noindex>
Вопрос в следующем.
Не вырою ли я этим самым себе яму?
Не вздумает ли Рамблеровский робот или Яндекс взять и посмотреть, а что там дальше за ноуиндексом :) тем самым забанив себя.
Точно ли спайдеры игнорируют все содержимое ноуиндекса и даже не пытаются туда заглянуть?
Вопрос в следующем.
Не вырою ли я этим самым себе яму?
Сам скрипт должен быть запрещен в файле robots.txt. Это правильный метод борьбы. IP же нарушителя лучше банить не выдачей 403 кода, а редиректом на большой файл с независимого сайта, вдруг скачает - все приятно (сервис-пак от WinXP вполне подходит для подобной цели).
А вот HTML-тег <noindex> не является стандартом, и его не обязательно исполнять роботам. (Его только русские роботы используют).
(сервис-пак от WinXP вполне подходит для подобной цели).
Я представляю на сколько денег ежедневно попадает Майкрософт :)
Interitus спасибо за совет.
оффтопик
а можно вообще блокировать скачивание сайта??? (телепортом, гетом, вебзипом)?
можно! например, не делать ссылок со страницы на страницу ...
а можно вообще блокировать скачивание сайта??? (телепортом, гетом, вебзипом)?
Любую защиту можно обойти. А от неискушенных роботов поможет закапывание ссылок или шифрование кода на JavaScript. В мартовском номере "Системного администратора" была статья на эту тему.
С уважением,
Александр Садовский.
оффтопик
а можно вообще блокировать скачивание сайта??? (телепортом, гетом, вебзипом)?
От простых идиотов можно защититься если прописать в конфиге апача строки при включенном модуле mod_rewrite:
RewriteCond %{HTTP_USER_AGENT} ^Teleport
RewriteCond %{HTTP_USER_AGENT} ^Wget
RewriteRule ^.*$ - [F]
Апач просто будет блокировать доступ для юзер агентов Teleport и Wget. Но более-меннее умный человек возьмет и изменит название своего агента. И строки становятся бесполезными.
А вообще есть методы анализа траффика на схожесть GET запросов по временнному интервалу с блоком по IP (т.е. попытка выявить аномальное поведение юзера, но при этом нельзя забывать, что к Вам приходят и поисковики).
Как мне кажется, самый простой метод- это тот, который я описал в начале.
Месяц назад я задавал подобный вопрос на форуме в другом разделе.
Правда речь тогда шла в первую очередь о защите от воровства контента - графических, видео и аудио файлов.
Сейчас появились кое-какие неожиданные идеи на этот счет (три разных варианта, нигде вроде как пока не описанных). Опробую их вначале на своем сервере, если сработает - подскажу. Наверняка вариантов решения можно напридумывать много и вопрос этот не только интересный, но и может оказаться полезным для многих (защита контента, плюс экономия трафика, для кого актуально).
С уважением,
Виктор
Будем ждать ;-)
и всем спасибо за консультации