Почему у сайта сетевого журнала Хакер такой пустой robots.txt?

По роботсу быстрее на порядки.

donc,

Да я особо то и не верю, я и не знаю почему они не фильтруют в robots.txt и он у них пустой, но думаю да это от крутизны сайта зависит или от ихней зависимости от поисковых систем.

ну код страницы дольше качать, на пару мс. Но не сильно. Поверь. я с КД давно работаю и плотно

Потому что я уже писал - нормально настроенному сайту он не нужен. все служебное - ноиндекс, дублей быть не должно и так далее. Где не надо посторонних - access denied.

Ну и я вроде как не с луны свалился... ;)

Начало роботса для джумлы 1.5

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /language/

Disallow: /libraries/

User-agent: *

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Регулярками выцепить папки сложнее. Зато надежнее)) Но у меня в целом не было такой задачи никогда.

Интересное навскидку:

Зачем в robots.txt кот? - https://vc.ru/robots.txt

Почему на Хабре нет директивы Sitemap? - https://habr.com/robots.txt

Особые правила для Mail.RU_bot(Поисковая система Mail.ru?)? - https://pikabu.ru/robots.txt

Немаленький robots.txt(Может бывает и больше)? - https://www.sberbank.ru/robots.txt

ТС, robots.txt индивидуален, делай свой как тебе нужно, не надо оглядываться.;)