Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Робот Рамблера

O
На сайте с 05.03.2002
Offline
51
Oleg
1033

Смотрел логи и обнаружил, что Рамблеровский робот каждый раз забирает robots.txt и отваливает. Что делать, чтобы он индексировал сайт?

P.S. Апорт и Яндекс работают нормально.

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Я спросил сегодня точно то же самое на форуме Рамблера :-).

Мне уже ответили следующее:

"То, что Вы видели в логах - следы работы одной из компонент робота, которую мы переделывали. Выкачка самих страниц будет запущена на днях (сегодня-завтра).

Если робот не придет, обращайтесь в слежбу поддержки, может, есть другие причины."

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
[Удален]
#2

Клоакить robots.txt - как, к примеру, рекомендуют на одной из страниц хелпа Яндекса.

Алексей

K
На сайте с 31.01.2001
Offline
737
Kost
#3

Кажется робот пошел. 2 моих сайтика заглотил. Тьфу х 3 раза.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий