- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте уважаемые коллеги.
Прошу Вашей консультации в таком вопросе. Буквально сегодня на одном моем ресурсе был превышен лимит трафика. Об этом пришло уведомление от хостера и собственно я обратился к нему с вопросом в чем причина. Как выяснилось дело вроде бы кроется в парсинге ботами(в частности подсеть: 81.19.64.0 - 81.19.66.255) Рамблера или как мне объяснили может быть кто-то игрался как-то через эти ИПы...
Вопрос у меня один, какие способы решения есть этой проблемы? Сейчас закрыл через .htaccess всю подгруппу, но может есть какой-то более гуманный подход?
Спасибо.
Используйте robots.txt Пример:
User-agent: * (тут вместо звездочки можете указать своего бота в вашем случаи рамблера)
Crawl-delay: 2
Проконсультируйте, боты
замечательное обращение
Здравствуйте уважаемые коллеги
упс, извините не хотел с ботом общаться ((
если Рамблер лазит - увеличить тариф и трафик, если боты парсят - закрыть
замечательное обращение
Запятая то есть, он правильно написал ;) Казнить, нельзя помиловать! (с)
если боты парсят - закрыть
Можно попросить примеры, варианты?
А разве робот Рамблера понимает Crawl-delay ? Я нигде этого не видел.
Гуманно можно на какое-то время вообще закрыться от робота Рамблера:
User-agent: StackRambler
Disallow: /
Если это поможет, то думать, что делать дальше. А первым делом нужно в логи смотреть и проверить User-agent, вдруг это и не робот совсем.
Сколько трафика скушал бот?
сколько весит ваш сайт (вместе с бд), без картинок и медиа контента (примерно)?
Используйте robots.txt Пример:
User-agent: * (тут вместо звездочки можете указать своего бота в вашем случаи рамблера)
Crawl-delay: 0.5
Может быть я не совсем понимаю, по по статистике у меня есть только ИПы, и вроде бы рамблеровские. Т.е. указать задержку, так как Вы написали?
Michael-5 добавил 15.09.2008 в 16:29
Сколько трафика скушал бот?
сколько весит ваш сайт (вместе с бд), без картинок и медиа контента (примерно)?
В том и кроется причина, что сайт весь весит 35 метров(статика), а скушал он дай Бог только за сегодня 10 Гиг, вот и сработала защита.
P.s. как мне сказал хостер могут быть происки конкурентов и надо искать решение ввиде защиты скриптами... А какими, - я понятия не имею...
Может быть я не совсем понимаю, по по статистике у меня есть только ИПы, и вроде бы рамблеровские. Т.е. указать задержку, так как Вы написали?
Ну если чесно Kost прав, тут сунулся рамблер действительно не понимает эту дерективу. И еще я отпечатался выше, там надо не 0,5 а 2 или 3 и т.д это тайм аут в секундах. Извиняюсь за недостоверную информацию :o
Сайт бы показали, всеб вместе посмотрели, придумали бы авось что нить!
Сайт - фиг с ним, надо сперва логи посмотреть, хотя бы несколько строчек с заходами с этих IP.
Сайт - фиг с ним, надо сперва логи посмотреть, хотя бы несколько строчек с заходами с этих IP.
Коллеги, спасибо, сейчас выну строки с логов с заходами... 15 мин...