- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Как бороться с перегрузкой из-за ботов индесаторов? Есть сайт - на нем форум, страниц около 5 тысяц. Нагрузка в среднем 3-5% а в момент индексации 15-20% и хостинг отрубает на 10 мин сайт...
Знаю что есть способ прописать в роботс, crawl delay а как он работает на практике? Ко мне сюдя по логам и так не часто приходит робот, а когда уже соизволил то ппц 503 и привет.
На данный момент прегрузку вызывает Mail.Ru/1.0 - с гуглом и яшей проблем пока нет (они либо не заходят ко мне вообще либо заходят аккуратно)))
Не подскажите как правильно сделать делэй для mail Бота и для остальных. И плохо ли вообще его ставить, мб просто поднять планку на макс нагрузку??
А что за хостинг?
У яндекс есть "краул делай", читайте мануал по robots.txt
У гугла можете поставить низкий приоритет индексации в вебмастерсе...
Мейл сосет, поиск у них яндексовый, закрыть и забыть.
Краул делай ставил 10 сек для мсн и яндекс - проблем не было (трафика меньше не стало, позиции не менялись)
The WishMaster, за 2 с половиной бакса наверное
Znamensk добавил 07.11.2009 в 21:30
Astaldo, мейл не сосёт
Если известны IP ботов, можно сделать так:
RewriteCond ${ip:%{REMOTE_ADDR}} =b
RewriteRule .* - [F]
Или вот так, по имени и IP:
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} -robot
RewriteCond %{REMOTE_ADDR} ^195.48.56.12
RewriteRule ^(.*) for_bad_robots.php
В админке практически любого движка можно закрыть доступ "левым" ботам
хостинг majordomo отнюдь не за 2 бакса =\
Есть сайт - на нем форум, страниц около 5 тысяц.
Лучше покажите сайт.
хостинг majordomo отнюдь не за 2 бакса =\
Ой...знакомые проблемы...у них любое превышение допустимой нагрузки сразу блочат, я бы впс-ку взял, не намного дороже, а понадёжнее и отрубать не будут. Или съехал бы от них...так же попробуйте нагрузку до 10% поднять, 45 р в месяц стоит вроде, может поживее будет:)
и отрубать не будут
С чего ты взял?