- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Когда заходит Яндекс бот, то загрузка проца на хостинге достигает 50 процентов вместо положенных 7,5 , причем пользователей в этот момент практически нет. Хостер ругается. Как можно урегулировать загрузку?
А когда заходит бот Mail.ru или msnbot, то такого не происходит?
П.С. Яшкинбот не самый прожорливый робот. Работает сериями заходов, и никогда не хавает весь сайт сразу.
П.П.С.
Вы перегрузили мой сервер. Пожалуйста, прекратите!
Для управления поведением роботов используется файл /robots.txt. Напишите в нем запрет для робота Яндекса.
http://webmaster.yandex.ru/faq.xml?id=502499#overload
Шутка юмора сотрудников Яндекса. :)
Да не только с яндекса, но и с других тоже... Но вот с яндекса самый огромный.
Меняйте хостинг.
Меняйте хостинг.
+1
10 греев
Напишите в роботс.тхт
User-agent: Slurp
Crawl-delay: 120
User-agent: msnbot
Crawl-delay: 120
этим вы уменьшите нагрузку от посещений этими роботами, сделаете их заходы реже.
Все, что можно на сайте, нужно кешировать.
Контент, который можно сделать статическим, выдавайте только как статические страницы.
Оптимизируйте скрипты, для более оптимальной работы.
Этим вы уменьшите нагрузку на сервер.
И последнее, как кардинальная мера: переход на более высокий тарифный план хостинга.
Там в стандарте HTTP есть какой-то заголовок (кажется 302), который можно отдавать роботу в случае, если документ не изменялся. В этом случае он не скачивает его и тот, что имеется в поисковой системе, остаётся актуальным.
Т.е., если документ не изменялся и это можно проверить средствами PHP, то роботу отдаётся этот HTTP-заголовок и всё... Можно в инете поискать об этом информацию.
Там в стандарте HTTP есть какой-то заголовок (кажется 302
Ну только никак не 302.
302 - Moved Temporarily. Ресурс временно перемещен.
Имеется ввиду заголовок last-modified.
Когда заходит Яндекс бот, то загрузка проца на хостинге достигает 50 процентов вместо положенных 7,5
Волнуется видимо :)
Конечно волнуюсь. Еще б тут не волноваться. Яша блин в 8 раз загрузку на серваке увеличил. Я сегодня как увидел, чуть инфаркт блин не схватил. )) А если запретить в роботсе уже скачанные секции яндексом он всеравно по ним долбиться будет или нет? Просто немного лопухнулся не все что нужно закрыл, а яндекс проиндексировал. ЧТо делать. Удаление не работает у яндекса или как - то криво работает! ) Спасибо
Конечно волнуюсь. Еще б тут не волноваться.
alexseo имел в виду, что Яндекс волнуется. :)