/cgi-bin - закрывать или нет в robots.txt

Дмитрий
На сайте с 02.04.2020
Offline
50
338

 /cgi-bin и /cdn-cgi - закрывать или нет в robots.txt?

br.almighty
На сайте с 13.07.2021
Offline
61
#1

Вы сами это должны решать. У вас может это веб страница полноценная на эту тему.

Если играть в экстрасенса, то больше похоже на внутренний каталог системы, который надо не роботсом решать, а запрещать доступ в принципе.

Антоний Казанский
На сайте с 12.04.2007
Online
640
#2
Дмитрий :
 /cgi-bin и /cdn-cgi - закрывать или нет в robots.txt?

В эти служебные разделы вообще не должно быть публичного доступа.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
L
На сайте с 10.02.2015
Offline
224
#3
cloudflare? Закрывайте, чтобы роботы зря не ругались.
W1
На сайте с 22.01.2021
Online
296
#4
br.almighty #:
Если играть в экстрасенса, то больше похоже на внутренний каталог системы

А если без экстрасенсов, то  /cgi-bin  - это стандартный каталог, автоматически создаваемый на многих хостингах. Служит для размещения скриптов - стандартный каталог для скриптов Perl.

Мой форум - https://webinfo.guru –Там я всегда на связи
W1
На сайте с 22.01.2021
Online
296
#5
Дмитрий :
закрывать или нет в robots.txt

Это смотря по тому, что у вас там размещено. Чаще всего там вообще пусто.

K
На сайте с 03.01.2022
Offline
24
#6
Дмитрий :
/cgi-bin и /cdn-cgi

содержимое этих категорий автоматически правилами апача защищено от индексации. т.е. если в этой категории лежит текстовый файл, он по любому никогда не сможет быть прочтен извне напрямую, в том числе и ПС

а вот если у вас там есть скрипты, которые что-то полезное делают для фронт энда, то они могут быть проиндексированы ПС, если они, ПС, об адресе этих скриптов узнают.

Дмитрий
На сайте с 02.04.2020
Offline
50
#7
Понял. Спасибо за ответы!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий