Disallow или как трактовать такой роботс

Ушат
На сайте с 19.09.2012
Offline
95
214

Собственно:

User-agent: *

Disallow:

как трактовать такой роботс? Закрыт доступ ко всему сайту?

НЕ нажимать (). не ходите сюда (http://orteil.dashnet.org/cookieclicker/) ибо проклятие требует чью-либо душу в замен моей
kimberlit
На сайте с 13.03.2007
Offline
370
#1
Ушат:
как трактовать такой роботс? Закрыт доступ ко всему сайту?

Открыт. ртфм.

[Удален]
#2
Ушат:
Собственно:
User-agent: *
Disallow:


как трактовать такой роботс? Закрыт доступ ко всему сайту?

User-agent: *

Disallow: /

вот так закрыт

feord
На сайте с 28.06.2011
Offline
80
#3

вобще простой робот,

Ушат:
User-agent: *
Disallow:

он будет все подряд индексировать - контент и не нужные - форму регистрации,

информеры, статистику и т.д. исключите их добавив Disallow: /адрес/

Zegeberg
На сайте с 30.09.2010
Offline
306
#4

Увидел тему - созрел вопрос - его и задам, чтобы новыми однотипными топиками не засорять форум. Как правильно закрыть такой адрес - сайт/раздел/ нужно чтобы индексировалась страница сайт/раздел.html при этом важно чтобы внутрение материалы не страдали типа сайт/раздел/материал 1 или всё лучше склеить в htaccess ?

Ссылки с форумов, блогов и соц сетей ( https://forumok.com/p/c1710b6b/ ) Создание, настройка и ведение РК Директ
Marinka
На сайте с 21.04.2007
Offline
125
#5

Zegeberg,

User-agent: *

Disallow: /сайт/раздел/$

http://help.yandex.ru/webmaster/?id=996567#996572

SeoHammer (http://www.seohammer.ru/?partnerid=123870) - продвижение сайтов в ТОП. Попробуй нарубить в Kappusta.Ru (http://kappusta.ru/?r=B0CC924593324D4A99EF8016BF16656E)! Поисковый и коммерческий аудиты, цена по договоренности.
Zegeberg
На сайте с 30.09.2010
Offline
306
#6
Marinka:
Zegeberg,
User-agent: *
Disallow: /сайт/раздел/$

http://help.yandex.ru/webmaster/?id=996567#996572

Спасибо, работает, а то всё собирался-собирался.. Joomla, понимаете ли..

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий