Яндекс не жрет форум, помогите!

12
phoenix555
На сайте с 20.11.2008
Offline
175
#11
Klopopryg:
А что в нем не так!?

Яндекс особенный, он реагирует только на User-agent: Yandex

ЗЫ: хм, в хэлпе написано, что и на * реагирует, всегда думал, что только на Yandex

💦💦💦 XMLRiver.com - Выдача Google и Yandex в формате XML.Yandex | От 10р за 1000 запросов 🍀🍀🍀 KeyAssort.com - Программа для профессиональной кластеризации поисковых запросов
T
На сайте с 11.08.2005
Offline
181
#12

ДА, semenov прав...

Как минимум:

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

Klopopryg
На сайте с 29.12.2004
Offline
344
#13
semenov:
Ну не знаю, почитайте что-ли сходите http://help.yandex.ru/webmaster/?id=996567

Ааа... вы еще скажите "в интернете поищи".

Ответ не по существу, если сказал, что нашел где косяк, покажи, а не ссылку на RTFM.

Кроме того, читал я его неоднократно.

Вы роботс смотрели у топового форума по вобле!?

http://vbsupport.org/robots.txt

у него почти такой же! однако проблем с индексацией нет!

Klopopryg добавил 17.11.2010 в 01:00

Timen:
ДА, semenov прав...
Как минимум:
Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

Блин, народ, ну как вы не поймете, что скорее всего не в робот.тхт дело, не было его, форум также не жрался!

Но поправил, указал робота и убрал пробелы.

Лучше выстрелить, перезарядить и еще раз выстрелить, чем светить фонариком и спрашивать - "кто тут?"
U
На сайте с 18.04.2010
Offline
14
#14

sitemap есть?

У меня яша очень медленно хавал форум без правильного сайтмапа, как только сделал автогенерацию сайтмап с полном списком урлов так яша сразу подобрел, теперь зачастую даже гугл медленнее захавывает контент чем яша..

Klopopryg
На сайте с 29.12.2004
Offline
344
#15

Продолжаем эпопею про то как яндекс поедает ветеринарный форум...

В индексе уже 85 страниц, то 82, то 85 (прыгает).

роботс.тхт подправил, форум стали активно развивать (наняли писак).

Но яндекс все-равно его очень плохо жрет :(

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий