Robots.txt как правильно?

123 4
[Удален]
2246

Ребят извиняюсь, если повторяюсь, но вот я прописал в роботе вот так:

User-Agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: www.mysite.ru

Как думаете это правильно или первая строчка не нужна, подскажите пожалуйста как мне лучше прописать. :confused:

sosed
На сайте с 07.09.2006
Offline
34
#1

"По науке" - верно (Яндекс, Алл)

На практике (из лени) часто делают так:


User-Agent: *
Disallow:
Host: www.mysite.ru

Это не правильно, но работает - остальные хост игнорируют.

Хочу в дорвейщики! Не кóрысти ради, а токмо для ёкспиремента Обойди конкурента, займи своё место в выдаче — http://webmaster.yandex.ru/delspam.xml (http://ussr.trast.info)
lexalink
На сайте с 08.09.2005
Offline
304
#2
Рад новым знакомствам ( арбитраж, майнинг, сео, трафик и т.д.) - @lexalink (https://t.me/lexalink)
[Удален]
#3

А нужно ли делать пробел перед User-agent: Yandex или не имеет значения, это я чтобы наверняка было. Вот например вот так:

User-Agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: www.mysite.ru

K
На сайте с 31.01.2001
Offline
737
#4
sosed:
"По науке" - верно.

Что верно?

Между блоками должна быть пустая строка!

"you may not have blank lines in a record, as they are used to delimit multiple records".

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
sosed
На сайте с 07.09.2006
Offline
34
#5
Kost:
Что верно?
Между блоками должна быть пустая строка!

Прошу прощения, поправился :)

И персонально роботу(Y) лучше написать до всех (*)

[Удален]
#6

Непонял, ребят напишите мне точный пример что прописать в роботе и я его возьму за образец. 😕

[Удален]
#7

Местного значения :)

/ru/news/144

User-Agent: Yandex

Disallow:

Host: www.site.ru

User-Agent: *

Disallow:

Спросите у Яндекс :)

http://webmaster.yandex.ru/faq.xml?id=502499#robotstxt

[Удален]
#8

Если я хочу Яндексу и другим поисковым разрешить индексировать все, что мне нужно прописать подскажите...

opaHzheBb1u
На сайте с 26.05.2006
Offline
168
#9
Obramovich:
что мне нужно прописать

абсолютно ничего

[Удален]
#10
Obramovich:
Если я хочу Яндексу и другим поисковым разрешить индексировать все, что мне нужно прописать подскажите...

Вообще не заводите файл robots.txt

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий