Ув. Яндекс усмирите своих роботов плз.

ну я грубо называю эту картину

jackal, угу, а потом в большинстве случаев выбрасывает страницы из индекса.

Чувствую, сейчас будет аргументация "а вот на моем одном сайте" 😂

Еще бы глянуть полный URL пары страниц.

да ладно, что уже тут говорить ... Яндекс со своей задачей справляется ... индексирует всё быстро ... это мне надо переписывать, искать глюки ... и делать так что б нагрузка была в рамках ... просто обидно, что яндекс стал выбрасывать сайты.

Нет, такой аргументации не будет. Наоборот - скажу спасибо :)

И отключу модуль doorway_expires.pm, отвечающий за обработку модифайдов и отдачу 304-го респонса на моих многочисленных сайтах 😂

p.s. Вот ведь, мучался, делал всё по RFC, чтоб ему же, яндексу, было легче... а он... :)

Логи... МЕГА абсолюно нормальные. В таком режиме бегают по сервере по...эээ... о-ч-е-н-ь Большому числу сайтов на серваке и ничего даже не подлагивает ))