Форум Практика оптимизации Любые вопросы от новичков по оптимизации

htaccess закрытие индексации

Igorrok
На сайте с 28.08.2007
Offline
117
Igorrok
558

Часто встречал слова, что кто-то закрыл от индексации часть сайта при помощи htaccess, как такое возможно?

Истина где-то рядом...
E
На сайте с 29.03.2007
Offline
102
egorych
#1

/ru/forum/173251

Igorrok
На сайте с 28.08.2007
Offline
117
Igorrok
#2
RewriteCond %{HTTP_USER_AGENT} ^.*google.*$ [NC]
RewriteRule .* - [F,L]

А что оно делает?

Igorrok
На сайте с 28.08.2007
Offline
117
Igorrok
#3

Типа клоакинг?

Лёлик
На сайте с 28.04.2006
Offline
54
Лёлик
#4

Этот код в htaccess сообщает серверу, что если к нему придет googlebot, то ему (боту) будет отдан ответ 403 Forbidden.

Igorrok
На сайте с 28.08.2007
Offline
117
Igorrok
#5

А если он зайдет с браузерным?

Лёлик
На сайте с 28.04.2006
Offline
54
Лёлик
#6
Igorrok:
А если он зайдет с браузерным?

Не думаю, что гугл пошлет браузерного бота на страницу, которую запретили обычному.

Но если зайдет браузерным, то получит страницу.

Igorrok
На сайте с 28.08.2007
Offline
117
Igorrok
#7

Я имею ввиду, не захочет проверить или мы его не дурим, проверяя кто заходит и отдавая разный ответ?

Лёлик
На сайте с 28.04.2006
Offline
54
Лёлик
#8
Igorrok:
Я имею ввиду, не захочет проверить или мы его не дурим, проверяя кто заходит и отдавая разный ответ?

1) Если так переживаете, то закрывайте в robots.txt

2) Какой смысл проверять страницу браузерному, если обычному боту сказали нет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий