Интересно, а почему? Есть какое-то аргументированное объяснение на этот счет?
Здравствуйте!
Помогите пожалуйста решить проблему с файлом robots.txt
У меня, внутри этого файла..
есть такие строки:
Disallow: /*?* Disallow: /*?
Читал что если на сайте используются стандартные ссылки, вида «site.ру/?p=123», то эти строки нужно удалить, а если на сайте урлы "правильные", вида site.ру/primer-odin/, то эти строки, удалять не нужно.
У меня блог на вордпресс, и ссылки как раз как во втором случае, то есть понятные человеку, поэтому, я ничего удалять не стал. Но спустя примерно месяц, в вебмастере гугла, в разделе "Заблокированные ресурсы", я обнаружил около 60 заблокированных страниц. Точнее, там написано что, поскольку в файле robots.txt часть ресурсов заблокирована, все эти страницы могут быть обработаны некорректно. А Инструмент проверки файла robots.txt, выделяет красным, эту строчку
А также еще 2 вот таких:
Disallow: /wp-includes Disallow: /wp-content/plugins
Вопрос:
Означает ли это, что нужно обязательно удалить все эти 3 строчки, из файла роботс?
Disallow: /*?* Disallow: /wp-includes Disallow: /wp-content/plugins
И если их нужно удалить, то не образуется ли из-за этого, какие-то проблемы?
Просто один человек, на другом форуме (не знаю насколько правда он компетентен),
сказал что удалять ничего не надо, что это плохо, особенно если удалю Disallow: /*?* так как появится куча дублей...Вот и не знаю как быть.
Объясните пожалуйста, как правильно лучше поступить?
