Все вопросы по robots.txt

sirkp, что-то у меня ничего такого не написано вот пруф http://prntscr.com/81vi6s

Anibrut,вот вам обратный пруф

Вы скорее всего не вбили список проверяемых url

Optismile, да, не вбила, спасибо, так бы и маялась что не так и как вообще проверить.

У меня несколько сайтов объединились в один. Поставил везде 301 редиректы, теперь думаю насчет host в robots.

Объединение такое: сайт site1.ru теперь размещен на newsite.ru/site1, то есть не на главной странице, а в директории. В robots.txt на site1.ru прописал host: newsite.ru/site1

Но что-то везде написано, что в host должен быть указан домен.

Вот думаю, правильно написал или надо только домен было там указать без директории?

Для Яндекса сайты не будут являться зеркалами. По их правилам структура зеркал должна быть идентичной.

Вот кусок переписки с платоном по этому вопросу:

Добрый день! Помогите новичку. Только начинаю разбираться в SEO.

Разработку сайта (маленький интернет-магазин) заказал в фирме. Сам IT-ник, но не WEB-программист. Пока сайт ещё не сдали, его структуры не видел (сами папки/файлы).

Такие вопросы.

1) Могут ли в структуре сайта быть служебные директории со скриптами, файлами админки или чем-то подобным, что нужно запрещать от индексации в файле robots.txt? Если да, то что нужно запрещать от индексации?

2) В файле robots.txt, в директориях allow/disallow, реально указываются url-адреса или директории физической структуры сайта (директории файловой системы)?

Sentrius,

Могут быть и служебные скрипты. Потом просто в GWT смотрите не закрылось ли что-то нужное для выдачи.

Да директории и участки ЮРЛ адресов.

Посмотрите, я правильно составил robots.txt ?

Интересует расположение директив host и sitemap, употребление https, запрет всех динамических страниц, отсутствие переводов строки. Так же на сайте есть страница https://www.site.ru/articles/ которую нужно запретить и много страниц типа: https://www.site.ru/print/page.html (которые содержат подкаталог print)

Спасибо!

User-agent: *
Disallow: /?
Disallow: /print
Disallow: /articles/
Disallow: /404.html
Host: https://www.site.ru
Sitemap: https://www.site.ru/sitemap.xml

Подскажите вопросы по поводу доменов - как правильно включить в robot.txt.

1) Если домен в зоне рф?

2) 2 домена на одном сайте

как пофиксить?