- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте на сайт пришло сразу несколько ботов yandex,google,yahoo,mail.ru,msn - хостинг не выдерживает и вечно падает. Хотел бы у вас спросить, насколько негативно отразится на сайте, если я запрещу в robots.txt индексацию и уйдут ли они в тот же момент когда я запрещу ее либо будут продолжать пока не проиндексируют.
Сайт - это газет, там очень много новостных материалов
Юзайте Crawl-Delay
Спасибо большое, а какую лучше выставлять задержку, есть какое-то среднее значение данного параметра?
2 секунды будет достаточно, но проблему это вряд ли решит. Переходите на более качественный хостинг. Хостинг который могут положить поисковые боты - отстой.
Мы хостимся у 1gb.ua, тариф "Максимальный", я установил в robots.txt задержку, но это не помогает...
Может я его не правильно сконфигурировал.
User-agent: *
Disallow: /forum/
Disallow: /nom
Disallow: /autor
Host: domain.com
Sitemap: http://domain.com/sitemap.xml
User-agent: Yandex
Crawl-delay: 10
User-agent: msnbot
Crawl-Delay: 25
User-agent: googlebot
crawl-delay: 10
User-agent: yahoo-slurp
Crawl-Delay: 15
User-agent: Mail.Ru
Crawl-Delay: 20
like2dev добавил 20.04.2011 в 13:54
По логам видно, что паук мейловский не отрегаировал на установку crawl-delay.
2011-04-20 09:16:23, ok 217.69.134.53 (IP load = 2.83 %, total = 6.33 %)
2011-04-20 09:16:25, ok 217.69.134.53 (IP load = 2.83 %, total = 6.33 %)
смените хостинг
Я выставил в robots.txt запрет на индексацию, но боты всеровно продолжают индексировать уже около 80 тыс обращений к сайту... Хостер пишет постоянно, что вы использовали доступное ЦПУ
User-agent: Yandex
Crawl-delay: 10
User-agent: msnbot
Crawl-Delay: 25
User-agent: googlebot
crawl-delay: 10
User-agent: yahoo-slurp
Crawl-Delay: 15
User-agent: Mail.Ru
Crawl-Delay: 20
Неправильно. Блоки для каждого поисковика должны быть отделены пустой строкой.
Пока не сделаете правильно, ничего работать не будет.