Ув. Яндекс усмирите своих роботов плз.

Kost, здоровская идея. Особенно учитывая, что яндекс вообще некорректно обрабатывает 304-ю, уже довольно долгое время.

кусок логов опубликуйте, разговор быстрее пойдет :)

И еще Апорт - тоже любитель до**аться ))

По теме:

1) Есть директива для robots.txt указывающая какие паузы делать между запросами..................

2) Оптимизируйте БД и движки...

Мне думается, что все таки кто-то контент прет. Зачем генерить, если можно скачать ? :)

А есть ли где-то информация, что яша или кто иной это понимает?

ткните пожалуйста в ссылочку на подробности.

Прямо побежал. Надо, сами найдете (хотя бы это еугенио писал довольно давно).

Мне тоже очень приятно общаться с вежливыми людьми ;) Репа есть - ума не надо :D

Да понятное дело, все должны срочно бежать и статью писать, специально, чтобы просветить не умеющего пользоваться поиском человека, притом не обремененного элементарными знаниями (к примеру про ту же 304-ю).

статистика такая :

за период 14 - 16 марта

111,483 яндекс съел

12,302 рамблер

7,725 гугл

статистика по другому серверу:

период 4-16 марта:

288374 яндекс

46266 рамблер

20475 гугл

чего то мне не понятно ... чего яндекс лезет в папки который запрещены для индексции ...

или я роботс кривой даю :(

Disallow: /folder

я так понимаю в папки с таким названием никто не должен лезть ?

или это от корня ?

у меня папки такого вида site.com/id/folder/

но что самое интересное когда пытаюсь удалить из яндекса site.com/id/folder/

он пишет такая страница не проиндексирована ... хотя в индексе она есть и в выдаче тоже есть ...