robots.txt и Яndex

1 234
[Удален]
#21
T.R.O.N:
Перенесите их все в одну папку и запретите ее индексацию

в одну папку перенести нет возможности...устройство CMS я так понял под это не заточено....*слова верстальщика

я так понимаю придётся прописывать в роботсе каждую страницу с сылками на эти доки либо ставить все эти ссылки на доки в noindex...так ?

albion
На сайте с 07.10.2005
Offline
247
#22
}|{у|{:
либо ставить все эти ссылки на доки в noindex...так ?

Если документ уже проиндексирован, то он не перестанет находиться в поиске лишь из за того, что вы на него убрали ссылку.

Сам не делал, но вроде можно через .htaccess запретить индексацию (доступ к файлам) поисковыми системами, отдавая им 404 ошибку при запросе файла.

T.R.O.N
На сайте с 18.05.2004
Offline
314
#23
}|{у|{:
устройство CMS я так понял под это не заточено

убить такую CMS

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
sud falke
На сайте с 24.11.2006
Offline
60
#24
NikoX:
Объясните пожалуйста следующую ситуацию.
У меня на сайте (ispets.ru) robots.txt выглядит так:
Код:

User-Agent: *
Disallow: /contacts/
Disallow: /tmp/
Host: ispets.ru

Но яндекс индексирует www.ispets.ru.
Только одна внешняя ссылка на сайт с www, все остальные без...

Что это, глюк яндекса или я где-то ошибаюсь?

У меня второй сайт индексируется без www, хотя в robots директива Host основной домен указан с www.... т.е. ситуация прямо противоположна вашей. Раздражает ужасно... Специально что ли директиву игнорируют или это такой способ замедления продвижения? Если я у себя поставил основной хост с www логично, что я и ссылки себе наращиваю на www... а в индексе sait.ru и когда его соблаговолит посетить зеркальщик не известно...

Люблю эту компанию Venta (http://www.promo-venta.ru)
albion
На сайте с 07.10.2005
Offline
247
#25
sud falke:
или это такой способ замедления продвижения?

По хорошему, если Яндекс нормально домены зазеркалил, то не важно на какой домен ссылку ставить. Все равно работать будет.

sud falke
На сайте с 24.11.2006
Offline
60
#26

albion, на сей счет не спорю, я говорю о замедлении продвижения. Т.е. если, не дожидаясь индексации я начинаю наращивать количество ссылок на свой ресурс, предполагая что в индексе скоро появится мой www.sait.ru (Host то я прописал, думаю что все гуд) а тут на тебе, появляется sait.ru и пока не склеится с www ссылки мне давать ничего не будут.

albion
На сайте с 07.10.2005
Offline
247
#27
sud falke:
albion, на сей счет не спорю, я говорю о замедлении продвижения. Т.е. если, не дожидаясь индексации я начинаю наращивать количество ссылок на свой ресурс, предполагая что в индексе скоро появится мой www.sait.ru (Host то я прописал, думаю что все гуд) а тут на тебе, появляется sait.ru и пока не склеится с www ссылки мне давать ничего не будут.

Да, ну тогда нужно изначально от этого застраховаться. Лично я на новый сайт сразу ставлю 301 редирект с одного домена на другой. Так как то спокойней.

B1
На сайте с 04.07.2006
Offline
44
#28
NikoX:
Проблема-то в чем.... все время сайт был без www - (все внешние ссылки без - кроме одной).
А с недавнего времени страницы без www вылетели с выдачи, зато теперь появились с www и в индексе и в выдаче... хотя HOST всегда был прописан ispets.ru

хост не правильно прописан

так НЕ правильно


User-Agent: *
Disallow: /contacts/
Disallow: /tmp/
Host: ispets.ru

директива Host знакома только яндексу и прописывается для него отдельно:


User-Agent: *
Disallow: /contacts/
Disallow: /tmp/

User-Agent: Yandex
Disallow: /contacts/
Disallow: /tmp/
Host: ispets.ru

"Использование дополнительных директив в секции *"

http://robotstxt.org.ru/RobotstxtErrors

Сталкивался с такой проблемой. Быстрее всего исправить - сначала запретить к индексации, потом с правильным robots.txt открыть.

Недавно BigBrother хвалился, что зеркальщик на порядок быстрее стал работать..поэтому можно и без удаления поробовать.

albion
На сайте с 07.10.2005
Offline
247
#29
baltic13:
директива Host знакома только яндексу и прописывается для него отдельно:

Ну значит для Яндекса - правильно написано ;)

B1
На сайте с 04.07.2006
Offline
44
#30
albion:
Ну значит для Яндекса - правильно написано ;)

вот поэтому и

практика показывает, что при этом могут быть ошибки со стороны зеркальщика.

host в стандарте нет, это расширение. поэтому для Яндекса отдельно и следует писать.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий