Яндекс не слушается команд в robots.txt

12 3
Jafar
На сайте с 04.06.2008
Offline
48
1555

Яндекс почему-то индексирует запрещенные разделы, те есть сылки с /tag/.

Часть файла robots.txt:

User-agent: Yandex

Disallow: /administrator

Disallow: /cache

Disallow: /components

Disallow: /rss

Disallow: /atom

Disallow: /tag

В Яндекс.вебмастере:

Документ запрещен в файле robots.txt:

/rss

/atom и все?!

kysok sabaki
На сайте с 27.02.2008
Offline
197
#1
Jafar:
...индексирует запрещенные разделы, те есть сылки с /tag/ ... Disallow: /tag ...

Disallow: *tag*

запретит всё, что с tag

kimberlit
На сайте с 13.03.2007
Offline
370
#2
kysok sabaki:
Disallow: *tag*

Что это было? )))

ТС, а роботс давно висит?

[Удален]
#3

И не будет слушаться, составьте корректно файл http://help.yandex.ru/webmaster/?id=996567

и проверьте его http://webmaster.yandex.ru/robots.xml

Jafar
На сайте с 04.06.2008
Offline
48
#4
kimberlit:
Что это было? )))

ТС, а роботс давно висит?

Полгода где-то.

Может так попробывать:

User-agent: Yandex

Disallow: /tag/*.html

Jafar добавил 24.02.2010 в 12:09

Seo_Barin:
И не будет слушаться, составьте корректно файл http://help.yandex.ru/webmaster/?id=996567

и проверьте его http://webmaster.yandex.ru/robots.xml

Там все корректно, host и sitemap присутствуют.

kysok sabaki
На сайте с 27.02.2008
Offline
197
#5
kimberlit:
...Что это было? )))...

http://help.yandex.ru/webmaster/?id=996567 пункт 4

kimberlit
На сайте с 13.03.2007
Offline
370
#6
Seo_Barin:
И не будет слушаться, составьте корректно файл

А что у него некорректно?

kimberlit добавил 24.02.2010 в 12:12

kysok sabaki:
http://help.yandex.ru/webmaster/?id=996567 пункт 4

Кусок сабаки, ты сам лучше почитай мануал.

1. начало должно быть со слеша

2. звёздочка в конце необязательна (по умолчанию идёт)

[Удален]
#7
kimberlit:
А что у него некорректно?

http://webmaster.yandex.ru/robots.xml#results Вставь и глянь, выполняются ток два пункта, через строку команды прописать всё работает.

User-agent: Yandex

Disallow: /administrator

Disallow: /cache

Disallow: /components

Disallow: /rss

Disallow: /atom

Disallow: /tag

Вот так:)

kimberlit
На сайте с 13.03.2007
Offline
370
#8
Seo_Barin:
http://webmaster.yandex.ru/robots.xml#results

И чё? 10 чё.

ТС, дай ссылку на сайт.

[Удален]
#9

kimberlit, У него действительно не правильно написан.

kimberlit
На сайте с 13.03.2007
Offline
370
#10

Seo_Barin, ну так покажи ошибку.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий