robots.txt в NetCat

Слева выбрать сайт -> в правом окне вкладка "Настройки" -> "Содержимое файла Robots.txt"

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Как-то тоже интересовался данным вопросом. Загуглите - точно найдете полезную информацию, но нужно помнить, что для каждого проекта могут быть свои особенности.

вручную что ли не настраивать этот файл?

ну, можно и вручную, можно силой мысли, а можно попросить специалиста за горстку золотых

Друзья, порядок действий такой:

Sitemap: http://путь_к_карте_сайта/sitemap.xml

Disallow: /install/

Disallow: /netcat/

Disallow: /netcat_cache/

Disallow: /netcat_dump/

Sitemap обычно в конце указывают вроде бы.

Просьба рассказать об этих папках. Инсталл- понятно, хотя в моём примере её нет.

Кэш- вроде временные файлы, понятно. В netcat- админ. данные потому что? А dump что содержит?

Вот мой вариант ( прикрепил жпж)

еще актуально

Папка /netcat/ содержит файлы системы, а также там есть файлы, которые отвечают за заказы (например в минимагазине и интернет-магазине), смысла индексировать их нет

в папке dump содержатся резервные копии сайта (они создаются с помощью встроенных средств движка)

А trash? название не внушает доверие для чтоб индексировать.

Сам контент находится в папке netcat_files?

В trash хранятся удалённые объекты, а контент хранится в базе.

netcat_files содержит файлы, которые закачивает сама система, например, картинки, которые вставляются в статью.