Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Правильно составить ROBOTS.TXT

[Удален]
651

User-agent: *

Disallow: /ПАПКИ ДВИЖКА/

Disallow: /ПАПКИ ДВИЖКА/

Disallow: /ПАПКИ ДВИЖКА/

Sitemap: http://САЙТ.РУ/sitemap.xml

Правильно ? и достаточно ли ?

igrinov
На сайте с 09.01.2009
Offline
134
igrinov
#1
awilum:
Правильно ? и достаточно ли ?

смотря чего вы хотите запретить, а чего разрешить и каким роботам

Персональный VPN/Socks сервер (https://cp.inferno.name/aff.php?aff=2419)
[Удален]
#2

ну запретить на просмотр роботами папки движка, разрешить карту сайта смотреть.

iren K
На сайте с 28.12.2008
Offline
222
iren K
#3
awilum:


Правильно ? и достаточно ли ?

в принципе правильно + для яндекса Host: САЙТ.РУ пропишите и вставьте над строкой Sitemap: http://САЙТ.РУ/sitemap.xml

c уважением Iren
igrinov
На сайте с 09.01.2009
Offline
134
igrinov
#4
awilum:
ну запретить на просмотр роботами папки движка, разрешить карту сайта смотреть.

ну наверно правильно, вы же не указали в примере ничего конкретного

SA
На сайте с 17.02.2009
Offline
53
SmAVl
#5

Моё мнение такое(как то давно сидел пытался разбираться с этим robots):

User-agent: *
Disallow: /ПАПКИ ДВИЖКА/

User-agent: Yandex
Disallow: /ПАПКИ ДВИЖКА/
Host: www.сайт.ru

Sitemap: http://www.сайт.ru/sitemap.xml

Т.е. создаётся два варианта, для Яндекса и для всех остальных. У Яндекса нужно указывать Host. Sitemap указывается для всех. Так же нужно учитывать пустые строки(перед Sitemap пустая строка и перед вариантом), и порядок - всё как в примере.

Вот в этой статье есть некоторые моменты и ссылки на источники, где можно почитать поподробнее.

Составление файла robots.txt В Яндекс.Вебмастере появился валидатор О чем нужно помнить
[Удален]
#6

Также рекомендую добавить строку Crawl-delay

HK
На сайте с 09.12.2008
Offline
30
HnK-G36
#7

Такой вопрос по robots.txt - если <b>мне не нужно ничего запрещать</b> для индексации, а единственное для чего нужен роботс, так это для размещения там строчки Sitemap: http://сайт_тчк_ком_тчк_ру/sitemap.xml , нужно ли там еще что-то прописывать? User-agent: * к примеру ?

Спасибо

Google опубликовал FAQ по Становится ли веб-мастер в Составление файла robots.txt
[Удален]
#8
awilum:
User-agent: *
Disallow: /ПАПКИ ДВИЖКА/
Disallow: /ПАПКИ ДВИЖКА/
Disallow: /ПАПКИ ДВИЖКА/
Sitemap: http://САЙТ.РУ/sitemap.xml

Правильно ? и достаточно ли ?

Движок какой?

igrinov
На сайте с 09.01.2009
Offline
134
igrinov
#9

HnK-G36, если запрещать ничего не нужно то вот так 

User-agent: *

Disallow:

Sitemap: http://САЙТ.РУ/sitemap.xml
HK
На сайте с 09.12.2008
Offline
30
HnK-G36
#10
igrinov:

User-agent: *

Disallow:

Sitemap: http://САЙТ.РУ/sitemap.xml

Спасибо! А зачем нужно вписывать Disallow: в данном случае ?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий