robots.txt и Яndex

123 4
NikoX
На сайте с 19.04.2007
Offline
66
2551

Объясните пожалуйста следующую ситуацию.

У меня на сайте (ispets.ru) robots.txt выглядит так:

User-Agent: *

Disallow: /contacts/
Disallow: /tmp/
Host: ispets.ru

Но яндекс индексирует www.ispets.ru.

Только одна внешняя ссылка на сайт с www, все остальные без...

Что это, глюк яндекса или я где-то ошибаюсь? :confused:

C уважением, Предводителев Сергей (VJiK)
albion
На сайте с 07.10.2005
Offline
247
#1
NikoX:
Но яндекс индексирует www.ispets.ru.

Еще и так есть: http://www.yandex.ru/yandsearch?serverurl=ispets.ru

с robots.txt все нормально. Ждите когда все зазеркалится. Для ускорения сделайте серверный 301 редирект (терять все равно нечего - одна ссылка) с www.ispets.ru на ispets.ru

bright
На сайте с 12.10.2006
Offline
20
#2

правильней все же будет так:

User-Agent: Yandex

Disallow: /contacts/

Disallow: /tmp/

Host: ispets.ru

#

User-Agent: *

Disallow: /contacts/

Disallow: /tmp/

T
На сайте с 11.08.2005
Offline
181
#3

Позволю себе добавить, что при 301 редиректе с определенного Яндексом главного хоста, сайт может выпасть из индекса. Был не один такой случай.

Поэтому, лучше просто прописать директиву Host в robots.txt и ждать.

BigBrother
На сайте с 16.06.2006
Offline
96
#4
bright:
правильней все же будет так:

User-Agent: Yandex
Disallow: /contacts/
Disallow: /tmp/
Host: ispets.ru
#
User-Agent: *
Disallow: /contacts/
Disallow: /tmp/

А теперь ВНИМАТЕЛЬНО читаем описание стандарта и не советуем ошибочные вещи.

PS: Вместо # - пустая строка. Иначе это не два блока, а один.

So many kings, but few jokers!
albion
На сайте с 07.10.2005
Offline
247
#5
Timen:
Позволю себе добавить, что при 301 редиректе с определенного Яндексом главного хоста

В данном случае главный хост не определен, т.к. они оба в выдаче. Не зеркала они.

Stripe
На сайте с 05.09.2006
Offline
222
#6
NikoX:
Что это, глюк яндекса или я где-то ошибаюсь?

ждите

Timen:
Поэтому, лучше просто прописать директиву Host в robots.txt и ждать.

Я еще все ссылки в меню прописывал вида http://***.ru/name.html

Сайты от 30р почти по любой теме или наполнение ваших сайтов (/ru/forum/887821) дешевым контентом. Базы товаров и контента (http://nakovalnja.ru). Вечные ссылки за 1$ или 30р. (/ru/forum/741397)
NikoX
На сайте с 19.04.2007
Offline
66
#7

Значит ставим 301 редирект на ispets.ru и все ссылки в меню пишем как http://ispets.ru/***.

Спасибо за ответы :)

albion
На сайте с 07.10.2005
Offline
247
#8
NikoX:
Значит ставим 301 редирект на ispets.ru и все ссылки в меню пишем как http://ispets.ru/***

Если поставите 301 редирект, то от абсолютных ссылок толку не будет. ;)

Dmitry V___v
На сайте с 07.12.2006
Offline
310
#9
NikoX:
Значит ставим 301 редирект на ispets.ru и все ссылки в меню пишем как http://ispets.ru/***.

Спасибо за ответы :)

Угу. Поначалу поимеете бэки с самого же себя на себя (на домен.ру с ввв.домен.ру);)

Такой приличный сквознячек в 10^х (х=количеству страниц в индексе условно) ссылающихся страниц:)

По мнению яндекса они чуть ли не самые "релевантные"

Создание и ведение кампаний Google/Bing/Twitter/FB Ads под USA, Canada, United Kingdom and Australia ( https://searchengines.guru/ru/forum/1028286 ) + жирный линкбилдинг под бурж ( https://searchengines.guru/ru/forum/1028282 )
NikoX
На сайте с 19.04.2007
Offline
66
#10

Почему не будет?

Яндекс зайдет на сайт и увидит, что ссылки на ispets.ru идут (без www.), да и в robots.txt без www.... Может одумается и вернет в индекс страницы ispets.ru...

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий