Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt Правильно ли я составил?

N
На сайте с 14.06.2004
Offline
107
Nicca
316

Мне нужно закрыть от индексации папку каталог. Правильно ли составлен мой robots.txt:

Sitemap: http://site.com/sitemap.xml

User-agent: *

Disallow: /catalog

Disallow:

Host: site.com

manic
На сайте с 08.12.2008
Offline
88
manic
#1

http://help.yandex.ru/webmaster/?id=996567 

User-agent: *

Disallow: /catalog/

Host: site.com 

Sitemap: http://site.com/sitemap.xml
FladeX
На сайте с 07.11.2008
Offline
163
FladeX
#2

Host только для яндекса

Услуги посредника на бирже контента: информационные статьи 40₽/1000, «продающие» тексты 50₽/1000. Пишите в личку. Помогаю правильно переехать на https (/ru/forum/973447). Подписывайтесь на мой канал в телеграм: https://t.me/fladex (https://t.me/fladex).
manic
На сайте с 08.12.2008
Offline
88
manic
#3
FladeX:
Host только для яндекса

То есть делать двойной? А то мне всё время ставят именно такой, какой Я выше написал. 

User-agent: *

Disallow: /catalog/

Sitemap: http://site.com/sitemap.xml



User-agent: Yandex

Disallow: /catalog/

Host: site.com 

Sitemap: http://site.com/sitemap.xml
mmorok
На сайте с 05.07.2009
Offline
12
mmorok
#4

А что, проверить с помощью инструмента для создания файла robots.txt в Гугле и в Яндексе религия не позволяет?

и еще, если папка во втором и более УВ, деректива 

Disallow: /catalog/
длолжна выглядеть так: 
Disallow: /*catalog/
или так 
Disallow: /*catalog
в зависимости от ваших потребностей
Мой блог (http://budilov.ru)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий