[htaccess] Как спрятать наличие robots

ну, дак, прикинутся гуглом не трудно.

Вот так. А что, побродя с таким юзерагентом по любимых сайтах или по сайтах из топа, можно увидеть кое-что интересное. :)

Да ладно! Кто мне мешает так назвать рабочий файл для юзера? Роботс.тхт - всего лишь рекомендация (имени файла и содержимого).

И вообще - причём нефик\пофик. ПС смотрят на сайт "глазами юзеров" (во всяком случае они так заявляют). И соответственно показывают (должны) то, что сёрфер увидит, перейдя по ссылке. Если это будет не так - клоакинг.

Вот если бы у ПС были реальные механизмы и стандарты, позволяющие им ходить в недоступные для юзеров места - тогда другое дело. Но пока я о таких не слышал.

Вот разбираемый сайт. sitemap.xml и тот же robots.txt - для юзера 404, для ПС - 200. Клоакинг чистой воды (ИМХО).

Я конечно не претендую (не спец как бэ ;)), но мне кацца с такими финтами есть риски улететь в баню.

богоносец, как думаешь? Клокинг-нет?

есть проще вариант :)

ПС ходит и под человеческими юзерагентами, не забываем. Вопрос только, читает ли robots.txt.

а что, рядовые "человеки" читают 🤪 ? это фича чисто для ПС, даже уже - только для их индексирующих ботов...

DiAksID, не рядовые, а сотрудники ПС.

Преступленим или не-преступлением считается не по каким-то законам, а по тому, как на это посмотрит власть... правоприменитель. От реальной распространённости будет зависеть. Может быть ПС и перебдят... но вероятнее забьют, судя по увеличению поголовья оптимизаторов.

В кэше Гугла есть не все открытые роботсы и сайтмапы, а только некоторые... может враги на них ссылку поставили.

Иногда можно посмотреть не то, что сейчас, а то, что было недавно.

Зачем спрятанную папку,файл прописывать в роботс??😮

Если папка спрятанная нечего там делать ни посетителю ни ПС, закрываем доступ к ним через htaccess

Nadejda, речь идет о брутовом, массовом поиске уязвимостей. Ну сколько вебмастеров из тысячи закрыли админку WP и скрипты в htaccess ? Один? Два?

Парсер не будет ломать или исследовать Ваш сайт в персональном порядке. Он пробежался по 100 к сайтам и вычислил потенциальных лохов. Если у Вас все закрыто как надо, то и молодец, в список не попали.

Почитайте топик про "светлую сторону силы", например.

Получается, что все можно закрыть через htaccess и robots вообще не использовать на сайте?