- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Уважаемые, такая проблемка.
Есть довольно большой форум, который живет уже "вялой" жизнью. Робот Яндекса сильно шерстит его из-за чего происходит перерасходит отведенных хостингом КПУ-часов.
Существует ли возможность запретить роботу посещать форум, но при этом, чтобы страницы форума остались в поиске?
Если нет, то как реально ограничить активность паука?
Спасибо.
Уважаемые, такая проблемка.
Есть довольно большой форум, который живет уже "вялой" жизнью. Робот Яндекса сильно шерстит его из-за чего происходит перерасходит отведенных хостингом КПУ-часов.
Существует ли возможность запретить роботу посещать форум, но при этом, чтобы страницы форума остались в поиске?
Если нет, то как реально ограничить активность паука?
Спасибо.
User-agent: *
Crawl-delay: х
вот так. Только поищите какой "х" вам надо
спасибо.
Буду экспериментировать.