Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как убрать из индексации файлы .doc

12
AVV
На сайте с 31.07.2006
Offline
84
AVV
#11

Забыл про Гугль. :)

Добавьте еще после

RewriteCond %{HTTP_USER_AGENT} Slurp [NC,OR]

строку


RewriteCond %{HTTP_USER_AGENT} Googlebot [NC,OR]

P.S. Slurp - это робот Yahoo! Slurp;

AVV
На сайте с 31.07.2006
Offline
84
AVV
#12

И по-идее, не мешало бы добавить еще:


RewriteCond %{HTTP_USER_AGENT} ^Mail\.ru [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAlta [NC,OR]
A7
На сайте с 15.07.2007
Offline
161
acid777
#13
AVV:
И по-идее, не мешало бы добавить еще:

А чего у всех - [NC,OR]

только у msn - [NC]

RewriteCond %{HTTP_USER_AGENT} msnbot [NC]

и что означает палочка - ^

она тоже не у всех стоит?

AVV
На сайте с 31.07.2006
Offline
84
AVV
#14
acid777:
только у msn - [NC]

Последнее условие должно быть без флага OR, что значит ИЛИ

NC - значит не учитывать регистр

палочка ^ - значит начало строки

Шаблон для USER_AGENT Яндекса начинается с начала строки "Yandex/ и т.д."

Поэтому стоит ^

У msnbot нет.

Пример:


Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
WebAlta Crawler/1.3.35 (http://www.webalta.net/ru/about_webmaster.html)

Короче говоря, - регулярные выражения.

При создании целей в Помощь в фильтрации ботов Нарушение требований к запросам
A7
На сайте с 15.07.2007
Offline
161
acid777
#15

Понял, благодарю.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий