Форум Поисковые системы Яндекс

Домен, субдомен и robots.txt

M
На сайте с 20.05.2005
Offline
101
majix
710

Появилась проблема в удалении некоторых страниц суб-домена посредством robots.txt размещенный в папке суб-домена и http://webmaster.yandex.ru/delurl.xml, яндекс уверяет в том что:

Документы по адресу http://forums.zzzzzzz.ru/memberlist.php не могут быть удалены из базы Яндекса, так как данный адрес не запрещен в /robots.txt. Нет оснований для удаления.

В то время как в robots.txt прописано, что нельзя индексировать эту страницу

/// robots.txt ///

User-agent: *

Disallow: /memberlist.php

-------------

В чем же может быть проблема ?, кто нибудь сталкивался ? и есть ли методы ее решения.

www.yesgamers.ru - Качай игры бесплатно (http://www.yesgamers.ru/)
T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#1
Disallow: /memberlist.php

Запретить можно каталог а не файл

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
GEREM
На сайте с 29.03.2005
Offline
139
GEREM
#2
Запретить можно каталог а не файл

Чего-то Вы путаете имхо.

User-agent: *

Disallow: /memberlist.php

Вот как надо:

-----

User-agent: *

Disallow: /memberlist.php

-----

Между User-agent и Disallow не должно быть пустых строк.

С уважением, Минин Михаил. mihailminin.livejournal.com (http://mihailminin.livejournal.com)
T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#3

GEREM, возможно вы правы. Стандандартно должно поддерживаться. Я понимает не все. В его примерах нет варианта с файлами (я не видел)...

K
На сайте с 31.01.2001
Offline
737
Kost
#4

T.R.O.N, в стандарте написано, что блоки разделяются пустыми строками. GEREM безусловно прав, внутри блока пустые строки недопустимы.

"you may not have blank lines in a record, as they are used to delimit multiple records"

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#5

Kost, я с этим и не сорю, он прав

Я не уверен что Я понимает запрет индексации файла. Практически не пробовал

M
На сайте с 20.05.2005
Offline
101
majix
#6
T.R.O.N:
GEREM, возможно вы правы. Стандандартно должно поддерживаться. Я понимает не все. В его примерах нет варианта с файлами (я не видел)...

Яндекс прекрасно понимает запрет того или инного файла, и не надо уверять в обратном, темболее если вы того не знаете.

А проблема заключалась именно в том о чем говорил GEREM

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий