- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем доброго времени суток.
Нуждаюсь в помощи бывалых. От хостинга пришло сообщение, что мои два сайта грузят сервер, разберитесь мол, в чем дело. Начал проверять, подумал, что боты ходят по сайту. Нашел пару плохих IP, которые обращались к /feed. Как я предполагаю, тырят контент с сайта. Смотрю, а это бот Яндекс.Блоги. Зашел на Яндекс.Вебмастер, там прочитал такое:
Для этого необходимо выполнить следующее:
• Для интересующего user-agent определите IP адрес по логами Вашего сервера. Все роботы Яндекса представляются с помощью user-agent, перечисленных в пункте 5.
• По полученному IP адресу Вы можете определить доменное имя хоста, используя обратный DNS запрос.
• После определения имени хоста, Вы можете проверить, принадлежит ли он Яндексу. Имена всех роботов Яндекса заканчиваются на 'yandex.ru'. Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.
Проверил при помощи вот этого сервиса http://proverim.net/ip_site.php, два IP адреса:
77.88.22.224 – этот Яндекса.
77.88.17.199 – этот как бы робот Яндекс.Блоги, но в ответе мне приходит - robot05b.feeds.yandex.net.
Но выше сказано, что окончание должно быть 'yandex.ru', а тут как видим yandex.net. Это нормальный бот или подстава. Если заходить на yandex.net, то редирект на yandex.ru. Я запутался, подскажите, кто знает. Кстати посоветуйте, как можно защитить контент на ВП от ботов. Как можно прикрыть /feed такой путь.
Заранее спасибо за помощь.
З.Ы. Возможно где-то непонятно выразился, прошу простить, так как сталкиваюсь таким в первый раз.
З.Ы.2 Забанил вот такие IP адреса, на ваше мнение они тырили контент, все ходили по /feed:
74.125.44.136
195.234.61.33 бот был на обоих сайтах.
81.170.208.83 бот был на обоих сайтах.
93.92.199.31
Всем доброго времени суток.
З.Ы.2 Забанил вот такие IP адреса, на ваше мнение они тырили контент, все ходили по /feed:
74.125.44.136
195.234.61.33 бот был на обоих сайтах.
81.170.208.83 бот был на обоих сайтах.
93.92.199.31
http://www.whois-service.ru/lookup/ -- Вроде ничего сложного.
1. Google
2. Украина
3. Шведы.
4. http://www.smart.spb.ru/smart/about/
З.Ы.2 Забанил вот такие IP адреса, на ваше мнение они тырили контент, все ходили по /feed:
74.125.44.136
195.234.61.33 бот был на обоих сайтах.
81.170.208.83 бот был на обоих сайтах.
93.92.199.31
74.125.44.136 - google
Спасибо тем, кто откликнулся. Разобрался. Нагрузка спала, пока все стабильно.