- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
ТС, вы по ходу даже свой топик не читаете, один уже пристыдился своих знаний в математике...
Вы вообще в курсе для чего эта директива? вот вам цитата с яшкиного хэлпа (обратите внимание на выделенные участки):
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
ТС, вы по ходу даже свой топик не читаете
Цитировать Я - все мастера.
А вот растолку-ка нам, плиз, что будет, если поставить:
Crawl-delay: 0
di_max добавил 15.12.2009 в 11:30
Где по вашим логам Яндекс делает более 10 запросов в секунду?
10 в секунду? Ну это было бы явным нарушением Crawl-delay: 0.1
9 шт в секунду - самое оно.;)
Но суть-то не в этом...
di_max, а где там указано, что можно дробные числа вводить?
Всем зачёт. :) Ни читать, ни считать, только писать!
А в чём?
neznaika, http://help.yandex.ru/webmaster/?id=996567#1022359
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
P.s. и покажите в логах - где ползун делает больше 10 хитов? Максимум, что увидел 9 :)
Talisman13, спасибас :)
di_max, а где там указано, что можно дробные числа вводить?
Это место процитировали все кому не лень.;)
См. ниже(выше) пост от mlsha
di_max добавил 15.12.2009 в 11:39
den78ru, в PSS-2
Уверен, этим заниматься никто не будет. Польза сомнительная.
den78ru, в PSS-2
Хорошо... Понятно...
Но при чем тут директива Crawl-delay в начале топика, мне так и осталась не понятной.
Цитировать Я - все мастера.
А вот растолку-ка нам, плиз, что будет, если поставить:
Crawl-delay: 0
из этого следует что робот яши может давать хиты по сайту с любым удобным ему интервалом более 0 секунд...
что смущает? такая запись может быть обработана спец исключением типо "шмурыгай сайт как тебе удобно" и это не будет означать, сиди на сайте безвылазно...
со спецификациями рсс не знаком и пока знакомиться не планирую т.к. надобности в этом для себя не вижу, поэтому не знаю какую там фичу вы хотите использовать, видимо хотите, либо утягивать инфу и быть с ней в топе, либо отдавать и не вылетать из топа (склоняюсь к первому), короче проблема первоисточника...
ПС: di_max, чтение между строк склонен считать не релевантным, т.к. один может домыслить одно, другой другое, а третий вспомнит, что давно пиво не пил...