пара вопросов по robots.txt для Рамы и вообще

aphextwin2000
На сайте с 11.12.2006
Offline
85
606

Коллеги, развейте мою мнительность плиз.

Вот уже не думал, что с Рамблером могут быть какие то проблемы, но программер сайта,

который двигаю, решил добавить адреналина (хотел закрыть сортировки и ненужные разделы) :bl: Загрузил такой вот роботс, и вчера я сайта в раме не увидел. кажется, последним Disallow: все было закрыто??

User-Agent: *

Disallow: /category/_type_*

Disallow: /category/?/

Allow: */$

Allow: /$

Disallow: *

Host: www.site.ru

Перечитал руководство Рамы по составлению этого файла. Так действительно, у них команда Allow не поддерживается?

В топ независимо от алгоритма! Продвижение статьями (http://miralinks.ru/users/registration/from:112463) здесь. Продвинуть сайт (http://seopult.ru/ref/46dea49bdf0dfd84) - теперь легко :)
jcrush
На сайте с 04.07.2004
Offline
371
#1

зведочки и знаки $ бы не юзал бы, а то я уже схлопотал от яндекса выкидыш....

» Блог (http://blog.stfw.ru/) - SEO-заметки. ДВчат: @dvchat (https://t.me/dvchat)
Й
На сайте с 18.07.2009
Offline
20
#2

User-Agent: *

Disallow: /category/_type_* #работает.

Disallow: /category/?/ #работает

Allow: */$ # это что такое? разрешение адреса типа site.rupage ? Слэш всегда начинает адрес. Это великий стандарт Unix и не подлежит обсуждению

Allow: /$ #Бред какой-то

Disallow: * #Дважды бред. Ничего не запрещает. Нет слеша - нет правильного пути к странице - игнор директивы

Host: www.site.ru

kimberlit
На сайте с 13.03.2007
Offline
370
#3

aphextwin2000, убей своего "программера" ...

DyaDya
На сайте с 11.04.2007
Offline
147
#4

Чё за чушь?

User-Agent: * # это для всех роботов!!!

Disallow: /category/_type_* #вроде нормуль

Disallow: /category/?/ #а это нафига?

Allow: */$ # чё за хрень? Всё что заканчивается слешем разрешает индексировать?

Allow: /$ # чё за хрень? Разрешаем индексировать только главную? Нафига тогда предыдущая директива?

Disallow: * #вот это вообще страшная весчь!

Host: www.site.ru

По моему, запретить индексировать хотели только вот это

Disallow: /category/_type_*

А что вот этим хотели запретить, пока не совсем понятно

Disallow: /category/?/

Но возможно правильнее было бы во так?

Disallow: /category/?

или

Disallow: /category/*/

Будьте аккаратны, а то можете больше, чем нужно запретить)

Не знаю как с рамблером, но на яндексе рекомендую проверить ваш роботс:

http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

В прочем, несмотря на всю перегруженность роботса, он вроде должен сработать в итоге более менее правильно. Ибо для яндекса:

Совместное использование директив.

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Для простоты, ваш роботс должен быть примерно таким (для яшки):


User-Agent: *
Disallow: /category/_type_*
Disallow: /category/?/ #вот это под вопросом, так как не знаю, изначально что это и зачем было нужно запрещать!
Allow: /
Host: www.site.ru

И учесть, что синтаксис для рамы очень ограниченный почему-то http://help.rambler.ru/article.html?id=327&s=221

спользование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.
К сожалению, инструкций Allow в файлах robots.txt не бывает.

Извращенцы в раме походу. Терь понятно почему раму так не любят)

Для рамблера лучше указать отдельный блок до всех остальных


User-agent: StackRambler
Disallow: /category/_type_
Выбирайте качественный хостинг (http://vashmaster.ru/informaciya/o_poleznyh_programmah/news83.php) и продвигайте сайты в СЕОПУЛЬТ (http://seopult.ru/ref.php?ref=72b5ed9561fe66a1). А на «SAPE» я в обиде :) Не упрекайте за очепятки, пишу вслепую (http://ergosolo.ru/) и также делаю сайты (http://www.vashmaster.ru/) ;)
C
На сайте с 11.10.2006
Offline
67
cap
#5
DyaDya:
Для рамблера лучше указать отдельный блок до всех остальных

а также для всех остальных ПС.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий