Все вопросы по robots.txt

рубрика и страницы

User-agent: *

Disallow: /page

Allow: /rubrika/page

только страница и далее..

User-agent: *

Disallow: /page/5

Allow: /rubrika/page/5

Как закрыть https? Начали вылезать откуда-то, на самом деле такой страницы нет, ведет на сайт хостера.

Если ведет на сайт хостера, то никак - ибо вам не обратится к роботсу на сайте хостера

Здравствуйте,

2 вопроса:

1. Нужно ли закрывать категории от индексации или нет? (На сайте статьи и несколько рубрик)

Disallow: /category/*/*

(Читаю форум, не могу понять, кто-то закрывает кто-то нет)

2.Когда указывают карту сайта,

это делается так, "Sitemap: http://ввв.мойсайт.ru/sitemap.xml"

Но я видел и такой вариант:

Sitemap: http://ввв.мойсайт.ru/sitemap.xml

Sitemap: http://ввв.мойсайт.ru/sitemap.xml.gz

Что это за "xml.gz" такой, и нужно ли его указывать?

Привет, это глюк какой-то.. пиши хостеру. В robot.txt нельзя запретить весь протокол https, можешь хостом прописать http://.. Ну и закрыть определенные страницы, как понимаю вылезли страницы входа в панель управления? Их и закрой..

есть еще один выход через попу)

либо попробовать через .htaccess номально настроить ну и посмотри настройки главного зеркала в вебмастере (для яндекса)..

---------- Добавлено 11.03.2015 в 18:34 ----------

1. Выбор за вами.. зависит от важности закрытия дублей.

2. GZ - сжатие. При большой карте сайта её сжимают, если нет необходимости - не используйте.

тока в htaccess:

RewriteCond %{HTTPS} on [OR]

RewriteCond %{HTTP_HOST} ^www\.

RewriteRule (.*) http://mysite.com/$1 [L,R=301]

Добрый день! промогите разабратся. достался мне сайт http://www.profvorota.com.ua c непонятным txt

User-agent: *

Disallow: /admin*

Host: http://profvorota.com.ua

Request-rate: 3/1

Visit-time: 0400-0600

Sitemap:http://profvorota.com.ua/sitemap.xml

User-agent: * # все ПС

Disallow: /admin* # на конце не нужна звездочка, поставит автоматом. Закрыть раздел admin, закрыть admin.php и др.. я бы поставить Disallow: /admin/

Host: http://profvorota.com.ua # главное зеркало

Request-rate: 3/1 # загружать не более трех страниц за 1 секунду. Не будет обрабатываться Яндексом.

Visit-time: 0400-0600 # загружать страницы только в промежуток с 4 утра до 6:00 по Гринвичу. Не будет обрабатываться Яндексом.

Sitemap:http://profvorota.com.ua/sitemap.xml #загружать сайтмап, только я бы для красоты пробел поставил.

Если указать

User-agent: *

Disallow: /check/

То это запретить любой URL с упоминание /check/?

Т.е. http://site.ru/check/1.html, http://site.ru/category/check/2.html, http://site.ru/category/check/folder/1.html не будут индексироваться? Или запрет только для корня сайта?

с корня.

Disallow: */check/

так все.