Закрыть доступ к сайту/странице для пришедших не с поисковиков

R
На сайте с 13.06.2007
Offline
68
2119

День добрый назрела необходимость сделать одну страничку доступной только из поисковиков, а те кто приходит не из поисков получает ошибку, для решения этой мега задачи я добавил в файл .htaccess от такой код

RewriteEngine on

RewriteCond %{REQUEST_URI} !(\.(css|flv|gif|jpeg|jpg|js|ico|png|swf)) [NC]

RewriteCond %{QUERY_STRING} !(ep_trafficback) [NC]

RewriteCond %{HTTP_ACCEPT} !(css|image|javascript) [NC]

RewriteCond %{REQUEST_URI} "ваваыаыаы/ывмымым.html" [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(yandex\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(go\.mail\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.com\.ua)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.com)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(yandex\.ua)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(liveinternet\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(yandex\.by)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(nova\.rambler\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(bing\.com)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.by)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.kz)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.de)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(yandex\.kz)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(images\.yandex\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.lv)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(ru\.ask\.com)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.lt)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(search\.livetool\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.md)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(search\.qip\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(search\.ukr\.net)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(search\.babylon\.com)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(webalta\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.fr)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(otvet\.mail\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.it)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.co\.il)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(hghltd\.yandex\.net)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(e\.mail\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.es)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.ee)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(nigma\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(vkontakte\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.az)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(images\.yandex\.ua)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.am)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(my\.mail\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.com\.pe)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(search\.conduit\.com)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.ge)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.ca)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(images\.yandex\.kz)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(sape\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(netex\.mako\.co\.il)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(searchru\.icq\.com)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.com\.tr)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(google\.gr)/(.*)$) [NC]

RewriteCond %{HTTP_REFERER} !(ˆhttp://(www\.)?(multibloger\.ru)/(.*)$) [NC]

RewriteCond %{HTTP_USER_AGENT} !((media.|streaming\ )player|alexa|asktb|autoupd|avant|bot|cometbird|crawl|download|facebook|feed|funwebprod|google|ipad|iphone|ipod|konqueror|libwww|macintosh|maxthon|myie|nintendo|parser|playstation|proxy|rambler|robot|rss|search|shopper|slurp|spider|sputnik|stagefright|tionline|toolbar|urllib|validat|w3c|webmoney|wget|win(9.|\ 9x|nt4)|windows\ (9.|2000|me|xp|vista|7)|wordpress|x11|yahoo|yandex|\.exe) [NC]

RewriteRule .* - [F]

и вот беда, задача моя никак не решилась, ломал голову весь день ниче не выходит. Если не в тягость направте меня на путь истенный

Andreyka
На сайте с 19.02.2005
Offline
822
#1

За клоакинг дарят

Не стоит плодить сущности без необходимости
N
На сайте с 06.05.2007
Offline
419
#2
Кнопка вызова админа ()
izbushka
На сайте с 08.06.2007
Offline
110
#3

Как минимум надо внести в список свой сайт, иначе и по нему не смогут ходить, после перехода с гугла.

R
На сайте с 13.06.2007
Offline
68
#4
Andreyka:
За клоакинг дарят

Это не имеет к клоакингу никакого отношения

Как минимум надо внести в список свой сайт, иначе и по нему не смогут ходить, после перехода с гугла.

Само сабой, эту строку я просто убрал дабы не светить урл

С этой строкой или без нее все равно не работает:( хотя вроде как должно бы

Andreyka
На сайте с 19.02.2005
Offline
822
#5

Это самый настоящий клоакинг

R
На сайте с 13.06.2007
Offline
68
#6
Andreyka:
Это самый настоящий клоакинг

Клоакинг — (от анг. cloak - мантия, маска, прикрытие) прием «чёрной» поисковой оптимизации, заключающийся в том, что информация, выдаваемая пользователю и поисковым роботам на одной и той же странице, различается.

У меня контент один и тот же, это вообще статическая штмл страница. Я не пытаюсь нае..обмануть ПС, просто меня сейчас на этой странице интерисует юзер который пришел с ПС для него страница показываеться такая какая она есть такой же как и для ПС а вот если человек пришел не с ПС, допустим просто набрал адрес в адресной строке, такой юзер перенаправляеться на страницу с ошибкой

Andreyka
На сайте с 19.02.2005
Offline
822
#7
rumes:


Клоакинг — (от анг. cloak - мантия, маска, прикрытие) прием «чёрной» поисковой оптимизации, заключающийся в том, что информация, выдаваемая пользователю и поисковым роботам на одной и той же странице, различается.

У меня контент один и тот же, это вообще статическая штмл страница. Я не пытаюсь нае..обмануть ПС, просто меня сейчас на этой странице интерисует юзер который пришел с ПС для него страница показываеться такая какая она есть такой же как и для ПС а вот если человек пришел не с ПС, допустим просто набрал адрес в адресной строке, такой юзер перенаправляеться на страницу с ошибкой

Так это и есть клоакинг

Анализ заходов с пс идет по реферу

A.Pulyavin
На сайте с 24.07.2010
Offline
26
#8

Вроде это не совсем клоакинг, если не прав - поправьте. Т.к. при клоакинге для бота и для пользователя выдаётся разная информация.

Как бы при таком запрете под обычного пользователя не попал бы бот, если он идёт без реф. ссылки.

Да и вообще, зачем нужны такие меры: :)

P.S. С наступающим!

C
На сайте с 16.08.2007
Offline
45
#9

это клоакинг в классическом его понимании, когда в зависимости от какого-то параметра одним клиентам показывается одно, другим другое.

вместо mod_rewrite дешевле использовать SetEnvIf:

http://www.askapache.com/htaccess/setenvif.html#Block_Bad_Bots (вдруг поможет чем-то)

Chesser.Ru - ecommerce, shops, x-cart, seo (http://chesser.ru/blog/) Моя репутация - это более 10 000 часов кодинга на PHP моим клиентам по всему миру
Zaqwr
На сайте с 08.08.2007
Offline
111
#10
rumes:
День добрый назрела необходимость сделать одну страничку доступной только из поисковиков

для начала я бы выяснил, всели броузеры отправляют REFERER

Администрирование, Linux, Cisco, Juniper

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий