Помогите с robots.txt

Ashman
На сайте с 28.07.2006
Offline
12
527

Люди помогите пожалуйста разобраться в robots.txt, точнее не совсем разобраться а понять то как сделать одну штуку. Допустим у меня есть сайт и на нём много категорий:

Игры (http://www.mysite.ru/games/)

Музыка (http://www.mysite.ru/music/)

Фильмы (http://www.mysite.ru/films/)

скажите пожалуйста что мне приписать в файле robots.txt чтобы все поисковые машины в первую очередь индексировали категорию "Игры" то есть чтобы в первую очередь индекс шёл этого раздела http://www.mysite.ru/games/ точнее не совсем так, первой конечно же должна идти главная страничка index.html а второе место по приоритету чтобы шла как раз категория "Игры" третье место музыка. Люди скажите в файле robots.txt как то возможно расставить приоритеты на то какие по очереди разделы сайта стоит индексировать поисковикам. Один вариант я знаю, я могу заблокировать все категории кроме одной и конечно же она будет проиндексирована, но мне нужно чтобы план был такой

1) Индексация главной странички

2) Индексация категории "Игры"

После 100% индексации катагории игры

3) Индексация категории музыка

После 100% индексации категории музыка

4) Индексация категории фильмов.... и так далее

И что самое главное чтобы робот так же возвращался для проверки на категорию games/ вдруг там что то новое появилось.

Скажите кому то под силу составить примерный образец robobots.txt с таким строением которое я описал, пока что у меня robots.txt имеет следующее строение:

-----------------------------

User-Agent: *

Disallow:

User-Agent: StackRambler

Disallow:

User-Agent: Yandex

Disallow:

User-Agent: Aport

Disallow:

User-agent: Googlebot

Disallow:

-----------------------

Пожалуйста все кому не в напряг помогите с этим вопросом.

The end
На сайте с 23.11.2004
Offline
138
#1
Ashman:
Люди скажите в файле robots.txt как то возможно расставить приоритеты на то какие по очереди разделы сайта стоит индексировать поисковикам.

. нельзя

Singular Advertising (http://www.singular.by/).
fine
На сайте с 01.12.2005
Offline
151
#2

А почему Вам важна именно такая последовательность?

SZ
На сайте с 17.08.2005
Offline
63
#3

Гуглю и компании можно через SiteMap's, Яндекс - этого не поддерживает.

KA
На сайте с 25.09.2006
Offline
3
#4

Средствами robots.txt это сделать невозможно.

Очерёдность скана страниц Яндекс выбирает сам для себя.

Могу только посоветовать, чтоб было больше внутренних ссылок на категорию "Игры" тогда у Я больше шанс увидеть этот раздел первым. То что это будет работать - не факт.

Образовательная тематика тИЦ 400, PR 5 Порабощение мира
seonik
На сайте с 29.06.2006
Offline
98
#5

А зачем Вам вообще такую последовательность нужно делать? При логичной внутренней структуре сайта и продуманной навигации Яндекс все проиндексирует без проблем. А очередность тут никакой роли не играет.

Все невозможное возможно!
Megavolt
На сайте с 23.12.2005
Offline
179
#6

можно как вариант, закрыть все нах, кроме игр, когда они появятся, открыть следующий раздел.

тока имхо это глупо. врядли повлияет на скорость индексации игр

Иногда лучше жевать.... (С)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий