Иван Т

Продублирую сюда с изменениями. Пока выгляди так:

------------------------------------------------------------

User-agent: Yandex

Disallow: /admin/

Disallow: /cache/

Disallow: /include/

Disallow: /extensions/

Disallow: /lang/

Disallow: *feed*

Disallow: *pid*  (не уверен что правильно написано)

Disallow: *statistic*

Disallow: *print*

Disallow: *cid* (не уверен что правильно написано)

Disallow: *userlist*

Disallow: *search*  (не уверен что правильно написано)

Disallow: *register*

Disallow: *login*

Disallow: *reputation*

Allow: /*.css (я правильно понимаю это означает индексировать все файлы ЦСС начиная с корневой директории и далее все папки до конца?)

Allow: /*.js

Clean-param: amp&pid&action&print&cid

User-agent: Googlebot

Disallow: /admin/

Disallow: /cache/

Disallow: /extensions/

Disallow: /img/

Disallow: /include/

Disallow: /lang/

Allow: /*.css

Allow: /*.js

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /extensions/

Disallow: /img/

Disallow: /include/

Disallow: /lang/

Allow: /*.css

Allow: /*.js

Спасибо.

Понял, удаляем.

Уже разобрался. Должно быть закрыто.

Умные люди пишут, что всё таки последние две строчки нужны и их надо писать так:

Allow: /*.css
Allow: /*.js

Они правы? Причём для всех ПС.

Ещё вопрос. Для гугла может стоит это открыть? Disallow: /include/

То есть не из за клин парама в роботсе гугл выкинул все статьи мои из поиска?

Майл ру юзает поиск Яндекса.

Спасибо.

Его нет и как его сделать я без понятия.

Понял. Буду думать.

Он тоже даёт трафик. Мало, но даёт.

Ещё нюансы:

Страница поиска имеет такую ссылку - https://site.ru/search.php я правильно запретил её в роботсе?

Статьи доступны кроме основного адреса ещё по ссылке https://site.ru/viewtopic.php?pid=253#p253  я правильно запретил её в роботсе?

Clean-param пишется 1 раз в конце файла роботс или можно его писать/не писать для каждого  User-agent-а?

Я понимаю почему вы не хотите помогать. Я должен сам разобраться. Я прочитал справку Яндекса. Я поискал в Яндексе. Я поискал в Гугле. И всё равно многое мне не понятно. У меня гуманитарное образование. Все эти технические вещи тяжело даются. Вот сделал файл роботс как смог. Мне кажется там всё нормально, но явно есть лишние строки, и строки, которых не хватает. Это и хотел тут выяснить. Но всё равно спасибо всем ответившим. А генераторам этим, которые делают файл роботс я не доверяю.

Ещё пару моментов. Нужен ли клин парам и нужно ли прописывать хост?

Сделал файл роботс. Напоминаю, что статьи имеют урл вида - https://site.ru/viewtopic.php?id=197 Рубрики https://site.ru/viewforum.php?id=6 также если зайти в статью с главной страницы сайта урл имеет вид https://site.ru/viewtopic.php?pid=197#p197

------------------------------------------------------------

User-agent: Yandex

Disallow: /admin/

Disallow: /cache/

Disallow: /include/

Disallow: /extensions/

Disallow: /lang/

Disallow: *feed*

Disallow: *pid*

Disallow: *statistic*

Disallow: *print*

Disallow: *cid*

Disallow: *userlist*

Disallow: *search*

Disallow: *register*

Disallow: *login*

Disallow: *reputation*

Clean-param: amp&pid&action&print&cid

User-agent: Googlebot

Disallow: /admin/

Disallow: /cache/

Disallow: /extensions/

Disallow: /img/

Disallow: /include/

Disallow: /lang/

User-agent: Mail.Ru

Disallow: /admin/

Disallow: /cache/

Disallow: /include/

Disallow: /extensions/

Disallow: /lang/

Disallow: *feed*

Disallow: *pid*

Disallow: *statistic*

Disallow: *print*

Disallow: *cid*

Disallow: *userlist*

Disallow: *search*

Disallow: *register*

Disallow: *login*

Disallow: *reputation*

Clean-param: amp&pid&action&print&cid

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /extensions/

Disallow: /img/

Disallow: /include/

Disallow: /lang/

Allow: /*/*.js (не уверен что это правильно)

Allow: /*/*.css  (не уверен что это правильно)

---------------------------------------------------------------

Как-то так. Подскажите, плиз, всё верно?

Спасибо.

Давайте сделаем так. Я в эту пятницу сделаю файл роботс.тхт нормальный, который будет отдельно для Яндекса, Гугла и прочих ПС. Опубликую его здесь. А вы скажите нормальный он или нет и что в нём лучше и как поправить. Ладно?