Хорошо. Буду писать Аш.
В первый раз слышу.
Хаш - это еда такая есть. Вкусная. Заголовки так не называются.
А как писать русскими буквами?
С тем, что тайтл и заголовок одинаковые я ничего сделать не смогу, да и не хочу. А вот Хаш 2 могу тупо убрать вообще. Соответственно вопрос такой - оставить всё как есть или убрать вообще Хаш 2?
Сайт показывать не буду тут. Говорят это плохо для него. :)
При прочих равных, ваш сайт будет в ж...
Верно. Лан может уберу потом.
Я на другом форуме тоже создал тему. И там люди пишут, что будет не лишним прописать директивы и для майл. ру. Решил прописать.
Вот окончательный вариант роботса. Скажите, пожалуйста, всё правильно?
User-agent: Yandex Disallow: /admin/ Disallow: /cache/ Disallow: /include/ Disallow: /extensions/ Disallow: /lang/ Disallow: *feed* Disallow: *pid* Disallow: *statistic* Disallow: *print* Disallow: *cid* Disallow: *userlist* Disallow: *search* Disallow: *register* Disallow: *login* Disallow: *reputation* Clean-param: amp&pid&action&print&cid User-agent: Googlebot Disallow: /admin/ Disallow: /cache/ Disallow: /extensions/ Disallow: /img/ Disallow: /include/ Disallow: /lang/ Disallow: *cid* Disallow: *pid* Allow: /*.css Allow: /*.js User-agent: Mail.Ru Disallow: /admin/ Disallow: /cache/ Disallow: /include/ Disallow: /extensions/ Disallow: /lang/ Disallow: *feed* Disallow: *pid* Disallow: *statistic* Disallow: *print* Disallow: *cid* Disallow: *userlist* Disallow: *search* Disallow: *register* Disallow: *login* Disallow: *reputation* Clean-param: amp&pid&action&print&cid User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /extensions/ Disallow: /img/ Disallow: /include/ Disallow: /lang/ Disallow: *cid* Disallow: *pid*
Мне кажется да, всё правильно, единственное не уверен я в этих строках:
Disallow: *cid* Disallow: *pid*
И надо ли их закрывать, ведь поисковые роботы в статью и с морды лезут. Ну и не уверен в правильности написания. Я их понимаю так не индексировать всё на сайте что содержит СИД и ПИД до и после. А если я потом ЧПУ сделаю и в урле будет в словах сид пид?
Ну и не уверен, что клин парамы правильно прописал:
1) Так и не понял он отдельно пишется для всего файла роботса или можно писать для каждого юсер агента.
2) И не уверен, что он правильно написанный у меня.
Я не знаю, кто оценивал их ум, и по какому поводу они что-то пишут. Файл роботс пишется конкретно для каждого сайта, а не "вообще". Правило Allow пишется в том случае, когда для родительского каталога написано правило Disallow. Иначе оно лишнее. То есть писать Allow: /*.css имеет смысл только в том случае, если на страницах, предназначенных для сканирования, используются файлы CSS, размещённые в каких-либо запрещённых для сканирования каталогах - например, /extensions/ (что вполне вероятно) или /lang/ (что маловероятно). Поэтому в этом случае надо либо написать конкретно Allow: /extensions/*.css, либо "перезаложиться" и написать Allow: /*.css, как пишут "умные люди", не рассчитывающие на ум читателей.
В общем случае - да, вписывать эти 2 строчки имеет смысл для движков со сложной структурой, чтобы не заморачиваться выяснением конкретики по файлам css и js, или чтобы сократить длину и количество строчек в файле роботс.
Вы прям отлично написали и максимально понятно. Всё понял. По этому пункту больше не вопросов. Подскажите ещё, пожалуйста, про вот это " Disallow: *pid* (не уверен что правильно написано)" это важный параметр. По вот такой ссылке идут дубли статей https://site.ru/viewtopic.php?pid=253#p253  такая ссылка получается, если зайти в статью прям с морды сайта. Ещё части главной страницы кроме основного "корневой домен" также доступны по ссылке https://site.ru/index.php?cid=3 Не уверен, что и тут я не накосячил. Вообщем с робостом мне всё понятно. Ещё почитал сегодня. Осталось только решить вопросы с этим:
Disallow: *pid*
Disallow: *cid*
Продублирую сюда с изменениями. Пока выгляди так:
------------------------------------------------------------
User-agent: Yandex
Disallow: /admin/
Disallow: /cache/
Disallow: /include/
Disallow: /extensions/
Disallow: /lang/
Disallow: *feed*
Disallow: *pid* (не уверен что правильно написано)
Disallow: *statistic*
Disallow: *print*
Disallow: *cid* (не уверен что правильно написано)
Disallow: *userlist*
Disallow: *search* (не уверен что правильно написано)
Disallow: *register*
Disallow: *login*
Disallow: *reputation*
Allow: /*.css (я правильно понимаю это означает индексировать все файлы ЦСС начиная с корневой директории и далее все папки до конца?)
Allow: /*.js
Clean-param: amp&pid&action&print&cid
User-agent: Googlebot
Disallow: /img/
Allow: /*.css
User-agent: *
