Все вопросы по robots.txt

Здравствуйте!

Помогите пожалуйста решить проблему с файлом robots.txt

У меня, внутри этого файла..

есть такие строки:

Disallow: /*?*
Disallow: /*?

Читал что если на сайте используются стандартные ссылки, вида «site.ру/?p=123», то эти строки нужно удалить, а если на сайте урлы "правильные", вида site.ру/primer-odin/, то эти строки, удалять не нужно.

У меня блог на вордпресс, и ссылки как раз как во втором случае, то есть понятные человеку, поэтому, я ничего удалять не стал. Но спустя примерно месяц, в вебмастере гугла, в разделе "Заблокированные ресурсы", я обнаружил около 60 заблокированных страниц. Точнее, там написано что, поскольку в файле robots.txt часть ресурсов заблокирована, все эти страницы могут быть обработаны некорректно. А Инструмент проверки файла robots.txt, выделяет красным, эту строчку

А также еще 2 вот таких:

Disallow: /wp-includes
Disallow: /wp-content/plugins

Вопрос:

Означает ли это, что нужно обязательно удалить все эти 3 строчки, из файла роботс?

Disallow: /*?*
Disallow: /wp-includes
Disallow: /wp-content/plugins

И если их нужно удалить, то не образуется ли из-за этого, какие-то проблемы?

Просто один человек, на другом форуме (не знаю насколько правда он компетентен),

сказал что удалять ничего не надо, что это плохо, особенно если удалю Disallow: /*?* так как появится куча дублей...Вот и не знаю как быть.

Объясните пожалуйста, как правильно лучше поступить?

Подскажите, как правильно закрыть

mail.DOMEN.ru

Так правильно

Disallow: mail.DOMEN.ru

Вы в Вебмастере покликайте и посмотрите точно что у вас заблокированно, там есть такая возможность должно быть написано РЕСУРС: и адрес что именно у Вас блокирует. "?" может быть и не в дублях, у меня он в картинках (getimg.php?img_url=/images/img_item/orig_201512037507.jpg&w=170&proportions=2&crop=0).

Что бы заблокировать дубли в вашем случае «site.ру/?p=123» написать нужно так: Disallow: /?p=*

Это что, и где и в каком файле роботс Вы блокируете?

Добрый день. Такая ситуация:

На хостинге, к основному домену tak-mojno.ru был добавлен дополнительный vamvpomosh.ru ,так теперь некоторые страницы сайта vamvpomosh.ru индексируются так:

http://www.tak-mojno.ru/vamvpomosh.ru/ok_virus.php

вместо

http://www.vamvpomosh.ru/ok_virus.php

Как запретить индексирование дополнительного домена с основным. :)

oleber,

У tak-mojno.ru и vamvpomosh.ru у каждого свои robots.txt должны быть ведь это все ровно разные сайты.

Значит в robots.txt который относиться к tak-mojno.ru

Disallow: */vamvpomosh.ru/*

только проверьте есть ли страница http://www.vamvpomosh.ru/ok_virus.php я бы еще в хтачес с http://www.tak-mojno.ru/vamvpomosh.ru/ok_virus.php на http://www.vamvpomosh.ru/ok_virus.php 301 редирект сделала бы, если уж они уже в индексе.

Здравствуйте, форумчане. Нужна ваша подсказка. Попробую покороче,хоть и не умею. Есть сайт на CMS 1С-Битрикс. Домену 3 года.И тут проблема в том,что в Яндексе выдает домен http://www.guardian-store.ru/ а в Гугле http://www.guardianstore.ru/ Я недавно(2 недели назад) залил новый robots.txt. с host: http://www.guardian-store.ru/ (именно этот домен нужно продвигать). Думал причина в этом,но так Гугл и не индексирует. Может времени мало прошло?

Все ли я правильно сделал? Знаете, еще я с корневой папки не удалил старый robots.txt ,который ставили разработчики. Может нужно удалить все старые и залить только потом новый robots.txt?

Попросили меня помощь, т.к. имел совсем малюсенький опыт продвижения сайтов. Но, я никогда не делал техническую оптимизацию,все было правильно настроено до меня.

Подскажите в чем причина?

Спасибо.

:( очень доброжелательно приняли мою просьбу

Anibrut спасибо, так и сделаю.

Гугл индексирует

По поводу удалили или нет файл, а как может быть два файла robots.txt?

В вебмастере (серч консоль) есть возможность обновить файл robots.txt

---------- Добавлено 21.11.2015 в 18:48 ----------

вот так правильно:

User-agent: *

Disallow: /

Здравствуйте уважаемые! Вопрос донный

Составил робот:

1. ПС не станет индексировать категорию "/subcategory/talaya-vodka/", а к категории "/subcategory/" никаких санкций не будет? Там просто все новости.

2. Как задать ещё и яндексу пометку чтоб не индексировал то-же самое?