Все вопросы по robots.txt

Host имеет значение только для яндекса, ежели что

Знаю, цитирую хелп яндекса:

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Host необходимо добавить в группу, которая начинается с записи User-Agent, непосредственно после директив Disallow и Allow). Аргументом директивы Host является доменное имя с номером порта (по умолчанию 80), отделенным двоеточием.

#Пример корректно составленного robots.txt, при обработке

#которого директива Host учитывается

User-Agent: *

Disallow:

Host: www.myhost.ru

проверил в ЯВМ, строка с хост обрабатывается

Меня интересует правильно ли я поставил запреты на индексацию всяких ненужных приблуд относительно яндекса и других ПС (Гугл)? Вот например в хелпе гугла нигде не написано, что такая запись:

Disallow: /wp-admin

не будет индексировать страницы с адресом с wp-admin, но сказано, что если вы хотите скрыть от индексации каталог и все вложенное в него, то поставьте так:

Disallow: /wp-admin/

вот и возникает вопрос, скроет ли запись

Disallow: /wp-admin

индексацию страниц админки гуглом?

ну и так далее по роботсу, вопросов больше чем ответов( если с блоком User-agent: Yandex более менее все понятно то с блоком User-agent: * одни вопросы

Гугл так же пишет, что если на странице используются скрипты, ксс, то их скрывать от индексации не нужно, иначе гугл выкинет их из поиска. Поэтому в блоке User-agent: * разрешены к индексации каталоги, содержащие стили и скрипты, а вот для яндекса я их запретил. Правильно ли это?

FaNaT_96, с роботсом у вас, похоже, всё норм.

А Ucoz позволяет с rel=canonical работать? А то у вас поиском по сайту не всегда выше страница раздела.

Прописывать домен с https:// или достаточно только домен прописать, так же как для сайтов http?

А давайте я поищу в гугле за вас

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

Очень много страниц такого типа:

muzykalno-ritmicheskie-uprazhneniya-dlya-detej/

/meta/muzykalno-ritmicheskie-uprazhneniya-dlya-detej/

category/muzykalno-ritmicheskie-uprazhneniya-dlya-detej/

Это дубли или в этом нет ничего страшного?

А вот роботс:

Нужно ли что-то добавить или убрать? Спасибо

User-agent: *

Allow: /wp-content/uploads

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed

Disallow: */feed

Disallow: /*?*

Disallow: /comment-page-*

Disallow: /comments

Disallow: /*/?replytocom=*

Disallow: /tag

Disallow: /category/

Disallow: /author/

Disallow: /20*/*

Disallow: /page/*

User-agent: Mediapartners-Google

Disallow:

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: YandexImages

Allow: /wp-content/uploads/

User-agent: Yandex

Allow: /wp-content/uploads

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed

Disallow: /*?*

Disallow: */feed

Disallow: /comment-page-*

Disallow: /comments

Disallow: /*/?replytocom=*

Disallow: /tag

Disallow: /category/

Disallow: /author/

Disallow: /js/

Disallow: /20*/*

Disallow: /page/*

Host:

Sitemap: /sitemap.xml

Sitemap: /sitemap.xml.gz

Здравствуйте! Подскажите пожалуйста - как закрыть часть урла в роботе? Например:

site.ru/autozapchast/productcategory - нужно закрыть все после site.ru/autozapchast/

вместо /autozapchast/ может быть другие категории, по этому просто в роботе нельзя прописать этот урл. Как это сделать для всех страниц? Спасибо

При указании путей директив Allow и Disallow можно использовать спецсимволы, задавая, таким образом, определенные регулярные выражения. Спецсимвол * означает любую (в том числе пустую) последовательность символов. Примеры:

User-agent: Yandex

Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'

# и '/cgi-bin/private/test.aspx'

Disallow: /*private # запрещает не только '/private',

# но и '/cgi-bin/private'

Disallow: /*productcategory

или

Disallow: /*productcategory*

Здравствуйте.

Надо закрыть страницы вот такого формата :

http://zap-online.ru/info/image_captcha?sid=2428351&ts=1460112388

http://zap-online.ru/info/image_captcha?sid=2433433&ts=1460297904

Как прописать в robots.txt? Спасибо.

Если в урлах целевых страниц нет знаков вопроса (?), то вот так:

Disallow: /*?

Ну или так Disallow: /*image_captcha?sid=