Вопрос по robots.txt

G

38

gazmyas

13 января 2010, 21:48

420

Правильно ли я составил роботс.тхт?

Sitemap: http://mysite.com/sitemap.xml

User-agent: *

Disallow:

Host: http://mysite.com

+ на сайте у меня есть 5 поддоменов. Для них тоже создал файлы:

Sitemap: http://subdomain1.mysite.com/sitemap.xml

User-agent: *

Disallow:

Host: http://subdomain1.mysite.com

Или не стоит создавать роботсы для поддоменов?

Куплю ссылки, размещу статьи на сайтах агро и смежных с агробизнесом тематик.

I

117

ippoman

13 января 2010, 22:25

#1

gazmyas:
Для них тоже создал файлы:

Правильно, поисковик robots.txt ищет на каждом поддомене.

163

FladeX

13 января 2010, 22:30

#2

А разве директива User-agent не должна идти в самом начале? Затем Disallow, потом Host (для яндекса), а потом уже Sitemap и все остальное.

Услуги посредника на бирже контента: информационные статьи 40₽/1000, «продающие» тексты 50₽/1000. Пишите в личку. Помогаю правильно переехать на https (/ru/forum/973447). Подписывайтесь на мой канал в телеграм: https://t.me/fladex (https://t.me/fladex).