- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Уже неделю где то Yahoo! Slurp форум один долбит, порядка 150 коннектов постоянно. Как бы его утихомирить? Где то недавно проскакивала информация, но теперь не могу найти. Вроде бы можно в файле robots.txt поставить ограничение скажем в 10 коннектов. Но какой синтаксис незнаю.
Вроде бы можно в файле robots.txt поставить ограничение скажем в 10 коннектов
Можно. Читайте: http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html
Для Yahoo!Slurp есть такая деректива как - Crawl-delay. Значением дерективы должна быть цифра которая указывает время в секундах между обращениями робота к сайту.
Посмотрите также вот здесь. Может быть поможет.
Спасибо, поставил задержку 10 секунд, посмотрим на результаты.