Все вопросы по robots.txt

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html#host

sookhov,

ее не все роботы обрабатывают, сделайте отдельный блок User-agent: Yandex и там добавьте в любое место, лучше под запреты/разрешения, потому что самому так удобнее смотреть.

Коллеги, подскажите пожалуйста, как закрыть вот этот топик, от индексации поисковыми роботами: http://forums.radiodetali-sfera.com/topic/535-politika/ ?

С ув., Александр.

Через robots.txt

Помогите с кодом, что туда прописать? С ув.

Нужно в поддомене http://forums.radiodetali-sfera.com создать свой robots.txt и там прописать:

User-agent: *

Disallow: /topic/535-politika/

я не посоветую как закрыть просто скажу что подобные обсуждения мешают работе.

имхо конечно но я бы вообще убрала эту тематику. к работе она не относиться

Мне вебмастер яндекса написал:

В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.
Проверьте файл robots.txt и устраните противоречия.

Вот фрагмент моего robot.txt:

Allow: /wp-includes/images/
Allow: /wp-content/uploads/

Host: sookhov.ru

User-agent: Googlebot
Disallow: /wp-login.php

Поможет кто-нибудь объяснить как правильно написать директиву Host

Если я в роботс указал Disallow: */?sort_by

То правильно я понимаю, что к индексации будут запрещены все страницы /?sort_byКАКОЙТОТЕКСТ

Например /?sort_by1 /?sort_by2 /?sort_by3 и т.д.

Disallow: /*?sort_by