robots.txt и индексация ссылок

lamansions
На сайте с 29.11.2007
Offline
54
571

Будем знакомиться!

Я читала этот форум в поисках инфы. но на эти вопросы ответов не нашла.

1. Имеется файл robots.txt. писала его по руководству и была уверена что все типа как надо. но здесь http://www.yandex.ru/cgi-bin/test-robots пишут что "файл robots.txt ничего не запрещает". а должен

текст такой:

User-agent: *
Disallow: http://mamalama.ru/test
Disallow: http://mamalama.ru/kak
# запретить всем роботам индексировать ссылки, которые начинаются с /test

в чем косяк?

2. Покупала ссылки на сайт. Раньше все было ок - ссылки индексировались и все работало. теперь по тому же запросу яндекс ничего не находит. Более того, он не находит даже там, где я точно знаю что ссылки индексируются (находит их по другим запросам).

может что с формой запроса? как ограничить поиск Яндекса определенным сайтом и проверить индексируются ли ссылки?

я проверяла так:

("текст ссылки"<<url="www.адрес сайта.ru") | ("текст ссылки"<<url="адрес ссылки.ru")

nickolas
На сайте с 30.01.2005
Offline
83
#1

напишите так

User-agent: *

Disallow: /test/

lamansions
На сайте с 29.11.2007
Offline
54
#2

nickolas, Спасибо! заработало!

kimberlit
На сайте с 13.03.2007
Offline
370
#3
lamansions:
# запретить всем роботам индексировать ссылки, которые начинаются с /test

Может быть страницы? или директории?

Первый и второй вариант отличаются закрывающим слешем.

А отдельные ссылки в robots не закрываются.

lamansions
На сайте с 29.11.2007
Offline
54
#4

ну да директории

то есть вы хотите сказать что файл вида такого тоже будет работать?:

User-agent: *
Disallow: http://mamalama.ru/test/
Disallow: http://mamalama.ru/kak/

на слова внимания не обращайте. я себе комментарии пишу на кривом языке:-))

роботс заработал уже. а вот что со вторым вопросом мне непонятно:-(

kimberlit
На сайте с 13.03.2007
Offline
370
#5
lamansions:
ну да директории

то есть вы хотите сказать что файл вида такого тоже будет работать?:
User-agent: *
Disallow: http://mamalama.ru/test/
Disallow: http://mamalama.ru/kak/

Не, не будет ...

nickolas показал правильный пример.

Просто если закрыть директорию нужно написать:

Disallow: /test/

А если нужно закрыть файл то:

Disallow: /test

Santim
На сайте с 03.06.2006
Offline
105
#6
lamansions:
Имеется файл robots.txt. писала его по руководству

видимо не по тому руководству читали, в роботсе недопустимы http:// он составляется без его участия.

lamansions:
как ограничить поиск Яндекса определенным сайтом и проверить индексируются ли ссылки?

пробуйте проверять инлексацию таким образом

"текст ссылки" << (url="урл страницы где установлена ссылка" | url="урд страницы где установлена ссылка с www")

таким запросом пользуется sape

По поводу того что ссылка индексируется а эффекта от неё нет, она может быть в базе быстро робота, анализируйте.

lamansions
На сайте с 29.11.2007
Offline
54
#7

Santim? спасибо!

По этим запросыдаетам мне что-то Яша вslftn/ Значит ли это что ссылка индексируется? Потому как выдает оно это в виде:

название сайта на кот. стоит ссылка

далее текст в котором слова ссылки которые я ввожу (то есть ссылка в выдаче выглядит как текст)

далее адрес сайта.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий