- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Пришло письмо от хостера, что за последние 5 дней нагрузка на CP превысила лимит по тарифу (больше 65).
Скинули мне причину и рекомендуют поставить crawl-delay на ботов
70.7%: search.msn.com
20.8%: ch1sch02009aash.ntwk.msn.net
4.4%: YandexBot
2.9%: broadband.corbina.ru
0.7%: sputnik.ru
0.6%: GoogleBot
Можете мне перевести?)
пропиши в robots.txt:
:)5 - это 5 секунд, можно увеличить.
пропиши в robots.txt:
:)
5 - это 5 секунд, можно увеличить.
Т.е. не обязательно именно на бота msn?
Т.е. не обязательно именно на бота msn?
да пусть на всех будет, не факт что другой бот не начнет часто заходить
А я лучше б переехал на другой хостинг или впс, не известно как это повлияет на индексацию, переиндексацию сайта и не факт что все боты будут это параметр учитывать.
А я лучше б переехал на другой хостинг или впс, не известно как это повлияет на индексацию, переиндексацию сайта и не факт что все боты будут это параметр учитывать.
Так дело в том, что проблема лишь у одного сайта на акаунте. Сайт никогда не продвигался, все по нулям, включая посещаемость. Каталога продукции еще нет. Что за атака ботов?
Crawl-delay: 30 не помогает, все равно хостер пишет о проблеме с превышением CP. Что делать, мб по ip как-то закрыть?
Так дело в том, что проблема лишь у одного сайта на акаунте. Сайт никогда не продвигался, все по нулям, включая посещаемость. Каталога продукции еще нет. Что за атака ботов?
Crawl-delay: 30 не помогает, все равно хостер пишет о проблеме с превышением CP. Что делать, мб по ip как-то закрыть?
выложите ваш robots.txt