Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите с составлением robots.txt!

R
На сайте с 26.02.2009
Offline
78
Romanson
589

Здравствуйте. Имеются три сайта: www.site.ru - основной сайт, www.site-1.ru - облегченная версия и www.text.site.ru - текстовая версия. Нужно полностью закрыть от индексации www.site-1.ru и www.text.site.ru. Как правильно написать это в роботсе на сайте www.site.ru?

коттеджный поселок "Приозерье" (http://www.europoselok.ru/) по Киевскому шоссе оригинальные мишки teddy me to you недорого
[Удален]
#1

В роботс www.site-1.ru и www.text.site.ru прописать следующие строки:

User-agent: *

Disallow: /

ParserYa
На сайте с 04.10.2010
Offline
29
ParserYa
#2

На сайтах www.site-1.ru и www.text.site.ru в robots.txt:

User-agent: *

Disallow: /

Как вы можете на www.site.ru закрыть от индексации сайты www.site-1.ru и www.text.site.ru ??

То есть, по Вашему мнению, всех конкурентов таким образом закрывать можно?

R
На сайте с 26.02.2009
Offline
78
Romanson
#3

Прописали, а главные страницы ww.site-1.ru и www.text.site.ru в индексе! Пришли к выводу, что надо и в роботсе на сайте ww.site.ru их прописать, а как - не знаем.

ParserYa
На сайте с 04.10.2010
Offline
29
ParserYa
#4

Как Вы проверяете, что они в индексе? :)

R
На сайте с 26.02.2009
Offline
78
Romanson
#5
ParserYa:
На сайтах www.site-1.ru и www.text.site.ru в robots.txt:

User-agent: *
Disallow: /

Как вы можете на www.site.ru закрыть от индексации сайты www.site-1.ru и www.text.site.ru ??
То есть, по Вашему мнению, всех конкурентов таким образом закрывать можно?

По запросу в Яндесе www.site-1.ru, эта страница в поиске. А в роботсе она закрыта уже очень давно вот так

User-agent: *

Disallow: /

[Удален]
#6
Romanson:
По запросу в Яндесе www.site-1.ru, эта страница в поиске. А в роботсе она закрыта уже очень давно вот так
User-agent: *
Disallow: /

Она не участвует в поиске. Только в поиске по урлу.

R
На сайте с 26.02.2009
Offline
78
Romanson
#7
ParserYa:
Как Вы проверяете, что они в индексе? :)

Проверяли также разными сервисами, все показывают по разному, www.seolib.ru например показывает, что в индексе.

ParserYa
На сайте с 04.10.2010
Offline
29
ParserYa
#8

Дайте пациента в личку или ICQ

R
На сайте с 26.02.2009
Offline
78
Romanson
#9
ParserYa:
Дайте пациента в личку или ICQ

Скинула, посмотрите пожалуйста!

[Удален]
#10

Есть такая проблема.

Сайт http://www.sait.ru/

Основное зеркало http://www.sait.ru/

НО Страницы которые раскручиваются:

1 http://www.sait.ru/

2http://saitX.sait.ru/,

3http://saitXX.sait.ru/,

4http://saitXН.sait.ru/,

5http://saitXРФ.sait.ru/,

6http://saitXТЕ.sait.ru/

Страница 1 есть в индексе

Страницы 1-6 в индексе с www, без WWW их в индексе нет (В ЯНДЕКСЕ).

Страницы 1-6 с www криво отображаются, без WWW все нормально.

Очень прошу помогите как это исправить.

Яндекс расширил возможности настройки Яндекс о сроках склейки Выбор главного зеркала для

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий