Как оптимизировать robot.txt для конкретного поисковика?? (Y,R,A)

Профессор, дай бог, чтоб тебе никогда не пришлось с изменением названия компании столкнуться. Полгода на фиг.

А еще говорят, знал бы прикуп - жил бы в Сочи

У меня был случай, надо было расклеить случайно склеившиеся сайты. Так суппорт натравил на обоих робота-зеркальщика, и как было обещано, через неделю сайты расклеились. А насчет быстрой индексации - не знаю. На хорошо раскрученном сайте за 1 заход берет 3-4 сотни документов для переиндексации.

Мне сложно говорить - логи у меня тяжело вытаскиваются, точнее, это надо постоянно делать, чтобы иметь полную картину.

Но судя по хостерским пакетам статистики, Яндекс и Гугл приходят каждый день. Судить по тому, как нарастало число страниц этого сайта, проиндексированных Яндексом, сложно - оно одновременно нарастало на самом сайте.

С другой стороны, Рамблер в сентябре месяце забрал сразу 3300+ страниц, при этом почти 2000 были проиндексированы впервые. Кстати, подобную его активность никто больше не замечал?

Гугл также как-то за один апдейт включил в базу порядка 1000+ страниц.

Так что аппетит - вещь спорная :)

все верно. Но ведь есть же и очень большие сайты с бесконечной динамикой.

Так в этом случае вопрос не в аппетите робота, а в его умении "не индексировать будущее", как это называли гугловцы.

Кстати, на этом сайте динамика тоже бесконечная - зайдите в раздел "Календарь" на форуме.

Роботу можно и помочь...

А где они так говорят?

Постараюсь найти этот линк - это было, когда анонсировалась индексация динамики.

Вариант приличный:

чтобы прикрыть от индексирования часть страниц на разных доменах третьего уровня. Вещь достаточно актуальная.

Вариант неприличный:

чтобы прикрыть от индексирования обменные ссылки