Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Закрыть от индексации.

[Удален]
422

Вот решил создать тему в помощь пользователям сети инернет.

Предлагаю скидывать в эту тему адреса страниц или сам текст того, как можно закрыть от роботов известных поисковых нужные документы и страницы на сайте путем создания robots.txt.

Итак начинаю эстафету. Не обессудьте, начну с самого легкого:

Яндекс:

User-Agent: Yandex (название робота)

Disallow: /папка/ (то, что не надо индексировать)

Host: сайт.com (главное зеркало)

SS
На сайте с 03.09.2004
Offline
141
Seventh Son
#1

Не тема, а бред какой-то.

Стандарта robots.txt и хелпа поисковиков не достаточно для составления правильного роботса?

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
A
На сайте с 05.11.2005
Offline
111
azzz
#2

...User-Agent: Yandex (название робота)

Disallow: /папка/ (то, что не надо индексировать)

Host: сайт.com (главное зеркало)

....

ну и достаточно :)

Предлагаю кардинальный вариант:

в htaccess

Все в сад вариант 1

Order Deny,Allow

Deny from all

Доступ только для избранных

AuthName "PRIVATE PLACE"

AuthType Basic

AuthUserFile /home/www/servers/lalal.ru/.htpasswd

require valid-user

Боты лезут на favicon Хакеры активно эксплуатируют уязвимость Составление файла robots.txt
[Удален]
#3

просто слышал, что не все поисковики реагируют на robots.txt правильно....поэтому и создал тему, которая раскрыла бы правильность написания этого файла...

да и нет опыта в составлении...поэтому и обращаюсь к матерым пользователям за помощью..

A
На сайте с 05.11.2005
Offline
111
azzz
#4

Скажу банальность, наверное,

но поиск рулит.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий