Все вопросы по robots.txt

Все привет.

У нас сайте многие страницы дублируются из-за множественных переписок типа: ?...

Например:

mysite.ru /?url=noredirect

mysite.ru/?source_type={STYPE}&source={SRC}

И такие дубли находятся в индексе.

Сайт старый, появилось еще до меня.

Хочу запретить к индексу все дубли страниц, у которых есть приписка «?» (т.е. означающая что дальше пойдет какй-то id-шник или метка).

Это можно сделать через robots.txt ?

Закрывать нужно через Disallow?

Пример:

User-agent : *

Disallow: /?

Или через Clean-param?

Пример:

User-agent : *

Clean-param: ?

Если ? всегда идет после главной без категорий и т.д., то так:

/?*

User-agent: *

Allow: /$

Disallow: /

Что здесь будет индексироваться , а что нет???

по идее в первом случае запрет коснется /xxx/*, не затронув /!xxx/

во втором - /ххх*/*, не затронув /!xxx/

а в третьем - любая папка или файл что содержат ххх будут запрещены

оставил Disallow: /!xxx/

Яндекс ругается на недопустимый символ, но показывает что данная папка таки запрещена..

Будет индексироваться только главная.

https://ok.ru/robots.txt вот он...

Тут чтото хитрее...

Яндекс вебмастер пишет: понял, что надо вставить host:https://sookhov.ru а куда вставлять в начало , в середину и правильно ли написано?

В файле robots.txt не задана директива Host

Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.

Добавьте директиву Host в файл robots.txt.

Куда host:https://sookhov.ru

вставить- в начало, в конец или середину

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: http://sookhov.ru/?p=7805

В файле robots.txt не задана директива Host

Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.

Добавьте директиву Host в файл robots.txt.

И в чём вопрос?

ставь в конец