мануал по созданию robots.txt

К любой цмс можно найти актуальный роботс, который полностью решит вашу задачу. Ищите в интернете.

Те, которые не должны индексироваться, по Вашему мнению 🤪

Обычно закрывают служебные папки, дубли (если нет возможности закрыть их скриптами), облако тегов, возможно, у Вас есть ещё какие-то страницы, которые, Вы считаете, навредят (может, какие-то страницы с вынужденным не уникальным контентом), их тоже можно закрыть.

Вообще, да, есть для популярных движков готовые роботс, но я бы не полагался на них на 100%, иногда их делают ничего не понимающие люди, уже сталкивался с таким.

Зайдите в Вебмастер, найдите любой профессиональный и успешный сайт, по структуре и CMS аналогичный вашему, и загрузите роботс с этого сайта - вот вам и готовый вариант.

И не забыть заменить директиву Host!!!😂☝

А можно еще и тут почитать.

Просто и ненавязчиво рассказано про роботс.

Рекоммендую к прочтению.

Нет ничего ценнее первоисточников.

А поскольку этот файл предназначен роботам ПС, то не мешает ознакомится как они к нему относятся. Например вот так яша.

Я уж подумал по названию темы что школьники совсем развязались ... уже мануал по составлению роботса продавать начали :D

sear4er тоже так подумал))

Ребята спасибо за инфу - оч полезно , насчёт школоты - тоже спасибо что умеете поддежать