- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ситуация следующая:
Вчера на моёс vps начало твориться что-то непонятное. Оперативная память, всегда используемая гдето процентов 50%-60% стала использоваться по максу, проц тоже был не в очем хорошем состоянии. Я сразу подумал что хостер чтото мутит. Но окозалось дело совсем в другом. Хостер послал глядеть лог. ну лог был 1.7 гигов(не мудренно входящий траф с 4 гигов в сутки поднялся до 20 гигов за 5 часов). удалил лог (качать и анализировать это проблематично). через мин 10 скачал несколько метровы лог и обнаружил что меня Dos-ят боты яхи.
(compatible; Yahoo! Slurp;http://help.yahoo.com/help/us/ysearch/slurp)
кто подскажет что сделать можно? robots.txt и .htaccess пробовал. траф спал но не процентов 10. Как убито этого бота чтобы он ресов некушал так много.
может быть, поможет?
http://nurlan.info/2008/08/07/xosting-snizhenie-nagruzki-na-processor/ - установка delay для бота
эти рекомендации для бота Яндекса, но вполне вероятно, что для Яхуу тоже чтото подобное существует
Vanger добавил 18.12.2009 в 10:17
собсно по вашей ссылке это самое и есть )))
A robots.txt rule to set a higher crawl-delay of 5 for Yahoo! Slurp looks like:
User-agent: Slurp
Crawl-delay: 5 - а если установить этот параметр в 30, например?
Сам не люблю эту сволочь :)
Главное, проку от неё - никакого. Во всяком случае, я не видел ни одного русского сайта, на который с Yahoo в день переходило бы больше 1-5 человек )
И у меня впечатление, что на robots.txt он успешно забивает.
Да и всех юзеров не заставишь в robots.txt что-то дописывать.
Вобщем, я резал на фаерволе - ограничил число коннектов до 1 и всё :)