Помогите с роботс.txt

A
На сайте с 13.06.2010
Offline
6
1214

Есть сайт на вордпрессе. Пытаюсь закрыть индексацию страниц с тегами с помощью файла роботс.тхт

User-agent: Yandex

Disallow:/tag/

Вроде все делаю правильно, перепробовал разные варианты - все равно анализатор в вебмастере пишет, что такие урлы как /tag/alivemax разрешены. В чем проблема??? Заранее спасибо.

SMM
На сайте с 02.07.2006
Offline
98
SMM
#1

так думаю правильнее будет.

User-agent: Yandex

Disallow: /tag/*

это чпу ссылка же наверно?

Размещение статей (/ru/forum/728008) - 30 wmz (1300\5 ЯК Дмоз. 2006 год. Посещ.~60000. MR-100. Яндекс. Гугл новости.). Траст. Написание+6 wmz.
A
На сайте с 13.06.2010
Offline
6
#2

> User-agent: Yandex

Disallow: /tag/*

Так тоже не работает. Может проблемы в самом анализаторе. Читал на блогах, что именно так и надо писать.

> это чпу ссылка же наверно?

Ссылки ЧПУ настраиваются вроде только для записей и страниц, а это стандартные для вордпресса.

K
На сайте с 01.04.2010
Offline
131
#3

ТС а вы не думали, что яндекс отбрасывает заблокированные странички в роботсе после апов? У меня лично так было! Только после нескольких апов были отсеяны ненужные странички(тоже теги закрывал) и закрыл:

User-Agent: *
Disallow: /tag/

закрывал правда для всех ПС! (=

kimberlit
На сайте с 13.03.2007
Offline
370
#4
Andreyolex:
Вроде все делаю правильно, перепробовал разные варианты - все равно анализатор в вебмастере пишет, что такие урлы как /tag/alivemax разрешены. В чем проблема??? Заранее спасибо.

User-agent: Yandex

Disallow: /tag/

Проверь какие урл вводишь (с ццц, без ццц).

SMM, звезда в конце - это бестолковость.

A
На сайте с 13.06.2010
Offline
6
#5
kimberlit:

Проверь какие урл вводишь (с ццц, без ццц).

В роботсе прописан без www, соответственно если вводить с www, то пишет, что "этот URL не принадлежит вашему домену"


ТС а вы не думали, что яндекс отбрасывает заблокированные странички в роботсе после апов? У меня лично так было! Только после нескольких апов были отсеяны ненужные странички(тоже теги закрывал) и закрыл:

Мне тоже кажется что должно сработать, вот только раньше анализатор robots.txt от яндекса показывал сразу, что страницы будут исключены, сейчас не показывает. Наверное, стоит написать в службу поддержки, спросить что к чему.

M-Borman
На сайте с 12.05.2007
Offline
83
#6

Andreyolex, как вариант, я однажды отправлял знакомому текст для его robots.txt напечатав его в аське. Знакомый скопировал его и вставил в свой robots.txt. При этом внешне всё было правильно, но оказалось, что знаки перевода строки были какие-то нестандартные и Яндекс такой robots.txt не воспринимал правильно.

S2
На сайте с 07.01.2008
Offline
611
#7
User-agent: Yandex
Disallow: /tag/

Проверка тут показывает, что всё правильно:

/tag/alivemax запрещен правилом /tag/
Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
Webit
На сайте с 13.12.2006
Offline
240
#8
SMM:


User-agent: Yandex
Disallow: /tag/*

звезда по умолчанию добавляется

AlExTeam
На сайте с 12.08.2010
Offline
34
#9

tag - это корневой?

тогда Disallow: /tag

без всяких звездочек

Internet killed the video star
A
На сайте с 13.06.2010
Offline
6
#10

Написал в техподдержку - вопрос решился, сказали что все дерективы для Яндекса надо писать в одном столбике, то есть и закрытие директорий и определение главного адреса сайта (с www или без). Типа:

User-agent: Yandex

Disallow:/tag/

Host: site.ru

Хотя еще до этого ответа перенес запрет на индексирование в начало файла и все заработало. Сейчас роботс.тхт имеет такой вид.

User-agent: Yandex

Disallow:/tag/

User-agent: Yandex

Disallow:

Host: site.ru

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий