Форум Сайтостроение Администрирование серверов

Подскажите с htaccess

GG
На сайте с 05.01.2013
Offline
2
GulfstreamG650
649

Всех приветствую.

Подскажите, как синтаксически верно будет набросать такой .htaccess файлик ?

Пытаюсь запретить доступ к файлу my.pdf только для роботов Yandex, Googlebot и Yahoo! Slurp , причем с выдачей 403 ошибки.

Сам файл лежит по адресам:

http://www.mysite.ru/pdf/my.pdf

/var/www/user1/public_html/mysite.ru/pdf/my.pdf

Я вот пробую, но это не работает (все равно роботы утюжат этот документ):


RewriteEngine On
RewriteCond %{USER_AGENT} Googlebot [OR]
RewriteCond %{USER_AGENT} Yandex [OR]
RewriteCond %{USER_AGENT} Yahoo! Slurp
RewriteCond %{REQUEST_FILENAME} !^my\.pdf
RewriteRule .* - [F]

И это тоже не работает:


SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot

<FilesMatch "^.*my\.pdf$">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>

Так в чем же дело ?

Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#1

У mod_rewrite есть свой лог

Включите его и посмотрите

Не стоит плодить сущности без необходимости
GG
На сайте с 05.01.2013
Offline
2
GulfstreamG650
#2
Andreyka:
У mod_rewrite есть свой лог
Включите его и посмотрите

А где его смотреть ? Я на вирт. хостинге его не нашел )

Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#3
GulfstreamG650:


А где его смотреть ? Я на вирт. хостинге его не нашел )

Попросить саппорт хостера

[Удален]
#4

А если что-то вроде этого? Будет 403 отдаватся.

<Files my.pdf>
SetEnvIf User-Agent Googlebot GoAway=1
Order allow,deny
Allow from all
Deny from env=GoAway
</Files>
Den73
На сайте с 26.06.2010
Offline
523
Den73
#5

бгг, хотите обмануть пауков а они обманут вас, надеюсь вы осознаете что они могут делать контрольные проверки без усер агента "Yandex, Googlebot" (обычно это делается как раз для поиска скрытого контента)

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#6

RewriteEngine On

RewriteCond %{USER_AGENT} Googlebot|Yandex|Yahoo! Slurp

RewriteRule ^my\.pdf - [F]

^my\.pdf - предполагается что файл находится в корне

GG
На сайте с 05.01.2013
Offline
2
GulfstreamG650
#7
dyakoff:
А если что-то вроде этого? Будет 403 отдаватся.
siv1987:
RewriteEngine On
RewriteCond %{USER_AGENT} Googlebot|Yandex|Yahoo! Slurp
RewriteRule ^my\.pdf - [F]

^my\.pdf - предполагается что файл находится в корне

В панели вебмастера проверил, робот опять же получает и читает файл. Если указывать подкаталог /pdf/ - выдает ошибку, что запрещено.

Ерунда какая-то получается😡

---------- Добавлено 27.01.2013 в 07:06 ----------

Den73:
бгг, хотите обмануть пауков а они обманут вас, надеюсь вы осознаете что они могут делать контрольные проверки без усер агента "Yandex, Googlebot" (обычно это делается как раз для поиска скрытого контента)

Нет, я хочу, чтобы роботы адекватно читали файлы robots.txt

Apache и директории Панель файлов в Php Яндекс как головная боль
siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#8
В панели вебмастера проверил, робот опять же получает и читает файл. Если указывать подкаталог /pdf/ - выдает ошибку, что запрещено.

Какой каталог, вы как правило написали?

GG
На сайте с 05.01.2013
Offline
2
GulfstreamG650
#9
siv1987:
Какой каталог, вы как правило написали?

Правило у меня стоит для всех папок - запрет на просмотр: Options -Indexes

А для файла не хочет работать, либо через панель вебмастера User Agent не Googlebot, а подменяется другим (

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#10
GulfstreamG650:
А для файла не хочет работать, либо через панель вебмастера User Agent не Googlebot, а подменяется другим (

1. Правило покажите таким, каким его написали вы. А лучше весь блок реврайтов

2. На хостинге включен mod_rewrite?

3. В какой папке находится файл(ы), и в какой папке находится Htaccess куда вы добавляете правила?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий