Форум Сайтостроение Веб-строительство

[htaccess] Как спрятать наличие robots

12 3
facegrodno
На сайте с 02.05.2009
Offline
45
facegrodno
2736

Добрый день.

Подскажите, как спрятать наличие файла robots.txt от посторонних глаз, но оставить видимым поисковикам?

Подозреваю, что сделано через .htaccess

Обнаружил такое при посещении сайта: через rds bar файл robots не видно, а если в google посмотреть страницы, то там пишет на некоторые что описание закрыто правилом robots.txt

Хотя могу ошибиться, и прячут другими способами.

Спасибо откликнувшимся.

Партнерка кино и развлекательное (http://u.to/BrgYAQ) Новая Кинопартнерка (http://goo.gl/tXuaC) NEW Май 2012
iren K
На сайте с 28.12.2008
Offline
222
iren K
#1

ну да,что-то типа 

RewriteEngine on 

Options +FollowSymlinks 

RewriteBase / 

RewriteRule ^robots.txt$ /robot.php?%{REQUEST_URI}
c уважением Iren
siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#2

А в чем глубокий смысл прятать роботс?

Фильтровать по юзер-агенту. Только что видно ботам, разве не проверяться по айпи-адресу, можно получить и из под пользователя.

Обнаружил такое при посещении сайта: через rds bar файл robots не видно, а если в google посмотреть страницы, то там пишет на некоторые что описание закрыто правилом robots.txt

Там еще используется мета-тег robots

Хотя да, доступ к роботсу стоит по юзер-агенту

богоносец
На сайте с 30.01.2007
Offline
759
богоносец
#3

И после этого не забудьте в нём написать

Disallow: /robots.txt # дабы злоумышленники его не нашли через поисковик. Или как-то кроме мета-тега можно ссылку на кэш запретить?

SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#4
богоносец:
Disallow: /robots.txt # дабы злоумышленники его не нашли через поисковик.


Тут же роботс итак доступен. А вот на указаном ТСе сайте его нет. Откуда

facegrodno:
а если в google посмотреть страницы, то там пишет на некоторые что описание закрыто правилом robots.txt

??

И вообще речь же о клоакинге. Или я чего не понимаю?

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
6666
На сайте с 10.01.2005
Offline
505
6666
#5
siv1987:
А в чем глубокий смысл прятать роботс?

Не давать сторонним лицам названия закрытых папок и файлов. По крайней мере, затруднить слегка доступ к их списку.

---------- Добавлено 26.04.2013 в 21:37 ----------

SeVlad:
И вообще речь же о клоакинге.

Нет, конечно. Поьзователь не видит и не должен видеть роботс.тхт

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#6
6666:
Поьзователь не видит и не должен видеть роботс.тхт

???

ПС видят (и должны видеть!) только то, что видят пользователи. Ну те. доступность в таком же виде. Иначе - клоакинг. Не?

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#7
6666:
Не давать сторонним лицам названия закрытых папок и файлов.

6666, а зачем их палить в роботсе если они закрытые? По нормальному если это закрытые папки, то они действительно должны быть закрытыми, а не ваять вот такие костыли. Ведь даже с запретом гугл не гарантирует их не индексацию.

Гугл не сканирует некоторые Как в robots.txt закрыть NGINX + PHP-FPM
6666
На сайте с 10.01.2005
Offline
505
6666
#8
SeVlad:
ПС видят (и должны видеть!) только то, что видят пользователи.

Пользователям нефиг смотреть роботс.тхт, это не содержимое сайта а директива для роботов. :)

siv1987:
6666, а зачем их палить в роботсе если они закрытые? По нормальному если это закрытые папки, то они действительно должны быть закрытыми, а не ваять вот такие костыли

Еще раз: К примеру, я старался, прятал папку wp-admin, переименовал в admin-wp

Дальше самый простой парсер обходит нужные сайты, просто читает роботсы. Ага. Нужная папка - называется так-то. А еще лучше конкретный файл. Типа ага, закрыли от индексации файл supersecretlogin.php вот нам его и надо..

Палили же тему недавно :) Роботс никто никогда не прячет, поэтому его и парсят.

---------- Добавлено 26.04.2013 в 22:38 ----------

siv1987:
Ведь даже с запретом гугл не гарантирует их не индексацию.

Парсят напрямую, не через Гугл..

T1
На сайте с 03.05.2011
Offline
35
tracker111
#9
facegrodno:
Добрый день.
Подскажите, как спрятать наличие файла robots.txt от посторонних глаз, но оставить видимым поисковикам?
Подозреваю, что сделано через .htaccess
Обнаружил такое при посещении сайта: через rds bar файл robots не видно, а если в google посмотреть страницы, то там пишет на некоторые что описание закрыто правилом robots.txt

Хотя могу ошибиться, и прячут другими способами.
Спасибо откликнувшимся.

вот их роботс

User-agent: *

Disallow: /cms/

Disallow: /search/

Disallow: /img/number.png

Disallow: /partnership/

Disallow: /make-harm-to-people/

Disallow: */?utm_source*

Host: www.smart-center.ru

Sitemap: http://www.smart-center.ru/sitemap.xml

6666
На сайте с 10.01.2005
Offline
505
6666
#10
tracker111:
/make-harm-to-people/

Даж страшно стало :)

tracker111, ну так расскажите, как посмотрели?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий