Почему у сайта сетевого журнала Хакер такой пустой robots.txt?

robots.txt это рекомендация для роботов. Пока у вас нет траста ваш сайт надо вылизывать. А потом уже всем пофигу.

Потому что в 2020 году на robots срать всем, кроме сеошников, застрявших в 90х годах. Или вы думаете журнал выкинут из выдачи, потому что у них robots "подозрительно маленький", span не закрыли, а ещё у них нет оглавления как в сайтах Пузата?

Всегда умиляли люди, которые фапают на техническую оптимизацию, имея скучный, не уникальный (рерайт-рерайта в 3 поколении) контент, с украденными картинками, и при этом ещё удивляются почему сайт получает 3 калеки в месяц (и те боты).

Конечно можно. Вообще без роботса спокойно можно жить

У меня в гугле 200000 страниц "проиндексировано несмотря на запрет в robots.txt" чихать им на роботс. Хотя meta на страницах вроде соблюдают.

Потому что на нормальном сайте и не должно быть этого роботс тхт

Это костыль для криворуких ВМ. А Sitemap и так добавить можно.

У меня в роботсе только сайтмэп 🍿

Потому что журнал Хакер знает, что основное назначение robots.txt – массовая фильтрация хакерами сайтов с нужной CMS.

Ну это можно и по коду сделать. Анализируя названия папок стилей и тп. Их, в 99% не меняют. Даже если вырезают все упоминания, как на серче:

Но даже поисковики рекомендуют его использовать и даже проверка синтаксиса в вебмастере есть, так и даже хакеры его используют правда всего в три строчки, и если его не сделать, то реально всякие так называемые дубли индексируются.

Я понимаю, что там крутым сайтам это не нужно, наверное, но даже у YouTube.com есть robots.txt, кстати с указанием на sitemap.xml.

То есть верить всему, что на заборе написано - твой предел?