Наболевший роботс

12
rovalans
На сайте с 09.08.2007
Offline
143
681

Друзья, подскажите пожалуйста, правильно ли указан robots.txt

Цель запретить к индексации всем кроме яндекса, гугла и рамы

User-agent: Yandex

Disallow:

Host:

User-agent: Googlebot

Disallow:

Host:

User-agent: StackRambler

Disallow:

Host:

User-agent: *

Disallow: /

Спасибо !

Символ #, часто называемый "решеткой", "знаком номера" на самом деле имеет официальное название - октоторп.
S
На сайте с 28.10.2005
Offline
319
#1

Пойдет, хост только для яндекса оставьте

rovalans
На сайте с 09.08.2007
Offline
143
#2

Если хост оставить пустым как в примере, все будет нормально?

[Удален]
#3

Это лучше не делать, тк со временем(или как повезёт) тебя могут склеить с другим сайтом.(что привидёт к 3 мес терпения)

A
На сайте с 07.10.2009
Offline
12
#4

http://help.yandex.ru/webmaster/?id=996567#996574

Важно: параметр директивы Host обязан состоять из одного корректного имени хоста (т.е. соответствующего RFC 952 и не являющегося IP-адресом) и допустимого номера порта. Некорректно составленные строчки 'Host:' игнорируются.

все что написано выше по определению ИМХО и не является истиной в последней инстанции. очень жаль что многие этого не понимают и это приходится писать в подписи.
BestFriend
На сайте с 02.12.2008
Offline
90
#5

rovalans, указание Host'a для яндекса - это как пинок, дабы точно указать боту, какой сайт основной. С www или без него. А указать желательно, иначе он поклеит как захочет)

Daconstalord, конечно же поклеит, если вы сами поступите глупо и пропишите там другой сайт))

:)
[Удален]
#6
rovalans, указание Host'a для яндекса - это как пинок, дабы точно указать боту, какой сайт основной. С www или без него. А указать желательно, иначе он поклеит как захочет)

Daconstalord, конечно же поклеит, если вы сами поступите глупо и пропишите там другой сайт))

Я как бы тоже самое сказал что и ты Оо Просто по другому сказал ты

kimberlit
На сайте с 13.03.2007
Offline
370
#7
Daconstalord:
Это лучше не делать, тк со временем(или как повезёт) тебя могут склеить с другим сайтом

И с каким сайтом его склеят?

[Удален]
#8
И с каким сайтом его склеят?

Да с любым, был у меня сайт один. сайт XXX.ru, а его склеили с сайтом YYY.ru, который ко мне вообще не относится

artrush
На сайте с 06.07.2009
Offline
97
#9
rovalans:
Друзья, подскажите пожалуйста, правильно ли указан robots.txt
Цель запретить к индексации всем кроме яндекса, гугла и рамы

Делайте так

User-agent: Yandex

Disallow:

Host: www.site.ru или site.ru (какой вам нужен)

User-agent: Googlebot

Disallow:

User-agent: StackRambler

Disallow:

User-agent: *

Disallow: /

icq 241309050
rovalans
На сайте с 09.08.2007
Offline
143
#10

Я думаю, он поклеить сможет только с www или без

Но врятли может поклеить с чужим сайтом.

Или это не так?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий