Работает ли запрет к индексации?

G
На сайте с 14.09.2005
Offline
92
817

Может, конечно, тема уже и подымалась, но я не видел.

Обнаружил такую вещь: несмотря на запрет сайта к индексации через robots.txt

User-agent: *

Disallow: /

Главная страница сайта каким-то чудом все равно попала в индекс.

Встречалось ли такое у кого-нить? и почему такое происходит?

K. Ermakov
На сайте с 10.12.2004
Offline
328
#1
Grom:
Главная страница сайта каким-то чудом все равно попала в индекс

Покажите, пожалуйста, эту страницу, а то штатный шаман в отпуск уехал :)

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
seo-alex
На сайте с 12.02.2006
Offline
143
#2

может быть роботс был добавлен не сразу, и страница успела попасть в индекс??

G
На сайте с 14.09.2005
Offline
92
#3
seo-alex:
может быть роботс был добавлен не сразу, и страница успела попасть в индекс??

нет, эта возможность исключена, т.к. данная ситуация проверялась. Сайта не было в индексе, когда был добавлен robots. Именно за этим он собственно и был добавлен=)

G
На сайте с 14.09.2005
Offline
92
#4
K. Ermakov:
Покажите, пожалуйста, эту страницу, а то штатный шаман в отпуск уехал :)

скинул Вам сайт в личку.

K. Ermakov
На сайте с 10.12.2004
Offline
328
#5
Grom:
скинул Вам сайт в личку

А зачем в личку, вы чего-то скрываете? :)

Похоже, ваш сайт действительно не индексируется, в строгом соответствии с robots.txt, а о существовании вашего домена Яндекс знает по каким-нибудь внешним ссылкам и не стесняется это показать.

G
На сайте с 14.09.2005
Offline
92
#6
K. Ermakov:
А зачем в личку, вы чего-то скрываете? :)

Похоже, ваш сайт действительно не индексируется, в строгом соответствии с robots.txt, а о существовании вашего домена Яндекс знает по каким-нибудь внешним ссылкам и не стесняется это показать.

Спасибо, за ответ.

Да, я уже осознал. Контент не проиндексирован, да и сохраненная копия не показывается, т.е. действительно Яндексу виден только домен.

А пока сайт окончательно не запущен, открывать его широкой публике не вижу смысла=)

[Удален]
#7

Заметил такое: при простановке <noindex> для части текста вся страница все равно попадает в Яндекс, но при просмотре через Сохраненную копию вижу, что поисковые слова не высвечиваются там где стоит этот <noindex>.

K
На сайте с 31.01.2001
Offline
737
#8
Grom:
Главная страница сайта каким-то чудом все равно попала в индекс.

Тут бывает такая штука, что сайта в индексе нет, но в поиске он показывается.

Т.е. робот на сайт не ходил, содержимого не знает, но по ссылкам знает, что есть такой сайт. URL в поиске может быть показан, но ни одного слова с сайта в результатах поиска не будет. Запреты в robots.txt чтут свято.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Z
На сайте с 23.05.2007
Offline
69
#9
А.Ю.:
Заметил такое: при простановке <noindex> для части текста вся страница все равно попадает в Яндекс, но при просмотре через Сохраненную копию вижу, что поисковые слова не высвечиваются там где стоит этот <noindex>.

А.Ю., попадать то попадает, так как хранится в прямом индексе. ;) Но слова, заключённые в эти теги, находиться не будут.

Яндекс хранит два индекса - прямой и обратный (инвертированный) . Всё что заключается в теги <noindex>, Яндекс не хранит в обратном индексе.

А в прямом индексе хранит. Сохранённая копия - это как раз прямой индекс. А слова и не подсвечиваются, так как не хранятся в обратном индексе.

Senslis
На сайте с 26.08.2006
Offline
77
#10

:)

Ziby:
А.Ю., попадать то попадает, так как хранится в прямом индексе. ;) Но слова, заключённые в эти теги, находиться не будут.

Яндекс хранит два индекса - прямой и обратный (инвертированный) . Всё что заключается в теги <noindex>, Яндекс не хранит в обратном индексе.

А в прямом индексе хранит. Сохранённая копия - это как раз прямой индекс. А слова и не подсвечиваются, так как не хранятся в обратном индексе.

<noindex> - никогда не подводит.

Хочешь зарабатывать: sape (http://www.sape.ru/r.1d182df653.php) и linkfeed (http://www.linkfeed.ru/1593)! Помогу новичкам! Советую партнёрку сервиса маскировки sms-сообщений: SMS-Maska (http://www.sms-maska.ru/i/4MCiePu3HHWQ2IjdB7y8wQ--/).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий