Форум Сайтостроение Веб-строительство

Защита файлом.htaccess файла robots.txt

12
DU
На сайте с 20.10.2006
Offline
105
DIMON-UA
#11
0bserver:

Поисковики не любят, клоакинг, поэтому меняют IP роботов, поэтому разрешение по IP не выход, тока проблем себе наживёте.

Чушь не несите. Не любят клоакинг? То что Вы называете клоакингом, поисковики сами используют. Разберитесь вначале в терминах. На сайте можна делать все что угодно, если это предназначено для пользователя, а не робота. В данном случае файл роботс создается абсолютно легально исключительно для поисковиков и если закрыть его от посетителей (для которых он изначально и не предназначается) ничего плохого не будет.

Как в моем случае Уникализация документов (законы, право, Google: скрытый скрипт для
Peter1000
На сайте с 19.01.2006
Offline
113
Peter1000
#12
0bserver:
Метатег запрещающий индексацию страницы:
<META NAME="ROBOTS" CONTENT="NOINDEX">
А роботс.тхт, если он есть и доступен для всех роботов скрыть не удастся.
Поисковики не любят, клоакинг, поэтому меняют IP роботов, поэтому разрешение по IP не выход, тока проблем себе наживёте.
Удаляйте из роботс всё что надо скрыть и вставляйте в страницы теги.
Кстати например картинки для админки, если они в папке самой админки надо будет перенести в другую папку...

Вообще-то robots.txt существует не для всеобщего обозрения. По определению. Это обычный набор технологических директив.

Помнится ка злобно реагировали многие поисковики на тег "noindex", сейчас сами придумали свой аналог в виде "rel nofollow".

Почему бы не ввести для robots.txt нечто подобное? Сейчас я бы не советовал проводить опыты с robots.txt...

Y
На сайте с 02.01.2006
Offline
138
Yukko
#13
MiRaj:
еще как может

не может.

MiRaj:
урл админки etc

ну не суйте урл админки в роботс ;) по юзер-агенту в скриптах закройте и ботам отдавайте 404...

Master_globus:
Вы что юзверам показывете роботс?

да, а что в нем скрывать?

MiRaj
На сайте с 03.07.2006
Offline
509
MiRaj
#14

Yukko, речь не обо мне, мне скрывать нечего.

Речь идет о сотнях сайтов, роботс которых так и говорит "Взломай меня, забань меня" :)

Муркетолог. 100 пресс-релизов с прямыми ссылками за 150 баксов? Легко! (http://b2blogger.com) Статейный маркетинг - лучшее лекарство от Минусинска! (http://miralinks.ru)
T
На сайте с 01.10.2004
Offline
73
telo
#15

Ничего скрыть не получится пока есть такая штука http://www.yandex.ru/cgi-bin/test-robots?host=site.ru

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий