Все вопросы по robots.txt

toxiz77, я бы посоветовал правильно настроить cms сайта, чтобы он отдавал 404 ошибку подобным страницам.

Не знаю что за движок у вашего сайта, но самое простое что можно сделать, это условие на php.

В шаблоне где выводится site.com/bla-bla напишите, что если после первого сегмента УРЛ (bla-bla) будет что то еще - то возвращается 404 ошибка (страница).

Спасибо за совет. Движок Wordpress

toxiz77, вместо 404 ошибки лучше сделать 301 редирект с этих страниц с цифрами на основную, т.к если они в поисковом индексе нежелательно отдавать 404. И нужно смотреть настройки движка почему так происходит. Посмотрите страницу Параметры – Постоянные ссылки в панели администратора, какая URL-структура выбрана.

Люди сведущие подскажите, правильно ли я создал робот тхт на сайте : http://promelknul.net/robots.txt

и сайтмап: http://promelknul.net/sitemap.xml

Использую плагин SEO YOAST.

стас2121

Сайт на WordPress?

robots.txt - не очень хороший для WordPress. Пример хорошего приводил: /ru/forum/comment/14296690

Из карты сайта я бы вот это исключил:

http://promelknul.net/attachment-sitemap.xml

http://promelknul.net/category-sitemap.xml

http://promelknul.net/bgmp-category-sitemap.xml

Зачем оно нужно?

Здравствуйте!

Не могу решить казалось бы простую задачу.

На сайте есть адреса типа

site.com/category/subcategory/item/download

site.com/category/subcategory/item/download/type1

site.com/category/subcategory/item/download/type2

Мне нужно закрыть их от индексации.

Пробую

Disallow: /*download

Отлично, все работает.

Но, вместе с ними закрываются изображения:

site.com/images/thumbnails/images/sitedownloads/fileimages/testimage.png

из-за того, что в урл содержит фразу download в слове sitedownloads.

Читаю описание к robots и никак не могу понять, как решить эту задачу...

Спасибо.

PS Такой вариант корректный?

Disallow: /*/download

Корректный.

Можно сократить до

Disallow: */download

И можно всегда проверять свои варианты в яндексе: https://webmaster.yandex.ru/robots.xml

Добрый день. В Вебмастера пришло информационное сообщение, что в robots txt недопустимый символ. Как исправить эту ошибку, помогите пожалуйста? Спасибо заранее.

Написано: 1 ошибка

17 Disallow: /home/$. В файле robots.txt был использован недопустимый символ

Используемые строки: 1

18

User-agent: *

Disallow: /administrator/

Host: site.ru.ru

20

Sitemap: http://www.site.ru/sitemap.xml

А целый роботс можете кинуть?

Это имеете ввиду?

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /home/$.

Host: site.ru

Sitemap: http://www.site.ru/sitemap.xml