taigers

Рейтинг
6
Регистрация
17.09.2011
nginx + proxy_set + ЧПУ

Тему оф, сделал так:

rewrite ^/forum([0-9]+).html(/?)$ /forumdisplay.php?f=$1 break;

nginx и rewrite
SoulReaver:
if ($http_user_agent ~* (Yandex|Google|Mail)) {
rewrite ^ /bot;
}
меняем на
if ($http_user_agent ~* (Yandex|Google|Mail)) {
return 403;
}
error_page 403 = @bot;

и
location /bot {
меняем на
location @bot {

что-то ступил малеха, спасибо :)

все работает))

nginx и rewrite
SoulReaver:
можно добавить rewrite правило в локейшн /bot, что-то типа
rewrite ^/bot(.*) /$1 break;
Но я бы сделал иначе. В секции server в if заменил
rewrite ^ /bot на
return 403;
и добавил
error_page 403 = @bot;
Соответственно с созданием этого именованного локейшена вместо /bot.

Спасибо, сейчас попробую так :)

с локейшеном чуть-чуть не разобрался, если можно на примере кода это)

nginx и rewrite
Dmitry.Sidorov:
rewrite ^ @bot ? Так, на вскидку.

так отдает

500 Internal Server Error

nginx/0.7.67

Забыл еще указать что все проксируется на другой сервер апач

include /etc/nginx/location.conf;

proxy_pass http://IP:80;
proxy_redirect http://IP:80/ /;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Real-IP $remote_addr;

U.P: return 403; в секции location /bot выдает ошибку nginx 403, тоесть секцию бот он понимает, но вот почему вместо сайта он отдает белый экран понять не могу.. учитывая что для обоих location конфиги одинаковые.

---------- Добавлено 24.04.2012 в 21:54 ----------

Нашел проблему, rewrite ^ /bot; не только на секцию перекидывает но и на сервере открывает страницу сайт/bot , в результате скрипт php отдает белый экран и nginx забирает белый экран, как можно от этого избавится ?)

fastcgi_cache и яндекс

Спасибо всем кто отписался, тогда поправлю только зависимости по совету DJ3 и пусть дальше поисковики кушают себе кеш)

fastcgi_cache и яндекс

bsyomov весомый аргумент :)

fastcgi_cache и яндекс

Andreyka

я это понимаю, просто по нету много тем что если сайт игнорит куки то сайт может вылететь из яшы, хз зачем яндексу куки, поэтому хотелось бы узнать кто использует такой кеш какие конфиги и индексируется ли нормально сайт после кеша.

fastcgi_cache и яндекс

http://habrahabr.ru/post/71501/

upd/07.02.2011: необходимо реализовать отделение поисковых краулеров, т.к. при игнорировании cookies могут выкинуть из выдачи

------

По интернету много еще в том же гугле статей о том что игнор куков может выкинуть сайт, некоторые статьи еще с сеялкой ботов, к примеру что бы яндексу отдавать все без кеша и т.д, вот мне и стало интересно так ли это.

Задал вопрос в тех поддержку яндекса, в ответ услышал только то что ранжирование является тайной.

fastcgi_cache и яндекс

Andreyka хз, просто прочитал что если сайт не отдает куки или запрещены и т.д то яндекс может исключить сайт из поиска.

Подскажите плз как запретить доступ по user-agent

if ($http_user_agent ~ msnbot) {

return 403;

}

как с помошью этой команды сделать отдачу сайта без кеша ?

к примеру если ты не бот ms то исполнять параметры:

fastcgi_cache pagecache;

fastcgi_cache_key "$request_method|$is_args|$host|$request_uri";

fastcgi_hide_header "Set-Cookie";

fastcgi_ignore_headers "Cache-Control" "Expires";

fastcgi_cache_valid 200 301 302 304 2d; # standart 10m

fastcgi_cache_min_uses 1;