- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
ТС, вы по ходу даже свой топик не читаете, один уже пристыдился своих знаний в математике...
Вы вообще в курсе для чего эта директива? вот вам цитата с яшкиного хэлпа (обратите внимание на выделенные участки):
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
ТС, вы по ходу даже свой топик не читаете
Цитировать Я - все мастера.
А вот растолку-ка нам, плиз, что будет, если поставить:
Crawl-delay: 0
di_max добавил 15.12.2009 в 11:30
Где по вашим логам Яндекс делает более 10 запросов в секунду?
10 в секунду? Ну это было бы явным нарушением Crawl-delay: 0.1
9 шт в секунду - самое оно.;)
Но суть-то не в этом...
di_max, а где там указано, что можно дробные числа вводить?
Всем зачёт. :) Ни читать, ни считать, только писать!
А в чём?
neznaika, http://help.yandex.ru/webmaster/?id=996567#1022359
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
P.s. и покажите в логах - где ползун делает больше 10 хитов? Максимум, что увидел 9 :)
Talisman13, спасибас :)
di_max, а где там указано, что можно дробные числа вводить?
Это место процитировали все кому не лень.;)
См. ниже(выше) пост от mlsha
di_max добавил 15.12.2009 в 11:39
den78ru, в PSS-2
Уверен, этим заниматься никто не будет. Польза сомнительная.
den78ru, в PSS-2
Хорошо... Понятно...
Но при чем тут директива Crawl-delay в начале топика, мне так и осталась не понятной.
Цитировать Я - все мастера.
А вот растолку-ка нам, плиз, что будет, если поставить:
Crawl-delay: 0
из этого следует что робот яши может давать хиты по сайту с любым удобным ему интервалом более 0 секунд...
что смущает? такая запись может быть обработана спец исключением типо "шмурыгай сайт как тебе удобно" и это не будет означать, сиди на сайте безвылазно...
со спецификациями рсс не знаком и пока знакомиться не планирую т.к. надобности в этом для себя не вижу, поэтому не знаю какую там фичу вы хотите использовать, видимо хотите, либо утягивать инфу и быть с ней в топе, либо отдавать и не вылетать из топа (склоняюсь к первому), короче проблема первоисточника...
ПС: di_max, чтение между строк склонен считать не релевантным, т.к. один может домыслить одно, другой другое, а третий вспомнит, что давно пиво не пил...