Crawl-delay и Яндекс.

Ага, а 1-й класс по чтению проходили? Где в вашем robots.txt 2 минуты?

Ну так, вы ж написали:

Вот если бы вы написали:

А робот посещал бы вас раз в 20 секунд, это был бы непорядок, а реже посещать сайты он может.

Нуу, приехали..

аааааааааа!!!

как я ступил, аж стыдно 😂

s91 - сори 🍻

Кто тут логов хотел?

Вот чем занимается "Yandex/1.01.001 (compatible; Win16; I)"?

Это лог с одного сервера

и продолжение:

А чем этот красавец занимается на том же сервере?

Резюме:

Иногда работает, а в основном балду гоняет.;)

PS

25 ноября Гугля, редиска, вдул в 00:38:15 - 1004 запроса.

Сервер выдержал.

Гугля подумал и... решал обидитцо. Вдул в 01:27:28 - 2444 запроса.

Сервер хрипел, сипел...

С натуги сплевывал и

Желтый клык высовывал

(R)емейк

PSS-2

Я это к чему... А то скажут опять, что 6 мысля не видна из даля.

Информация о том сколько доменов на одном IP - информация открытая.

Есть комунальные квартиры и колхозы.

Есть коттед... выделенные сервера, где на 1 IP приходится 1 домен.

Которые способны выдержать хорошу нагрузку.

Почему бы не "прокачивать" по-быстренькому роботу такие и потом заниматься колхозами, свободив ресурсы и расширив паралельные потоки...

Понимаю, что колхозы душить нельзя (несушки сдохнут)

Но и держать в серпе по 2 недели 404 страницы - тож не дело.

А кто виноват, что обновление контента составляет 30-50% в месяц.

(З)аметка на полях.

di_max, а можно роботсы от всех этих сайтов в студию?

хм... Или я опять мысль спрятал, но домен (сайт) там один:

Crawl-delay: 0.1

Сколько в секунде таких 0.1? :)

Это смотря у кого...

У меня - 10, а у Яндекса - 9.;)

А что?

Как что? Значит обращений в секунду должно быть не более 10.

Где по вашим логам Яндекс делает более 10 запросов в секунду?