- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева

VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Достали боты, грузят впс, нашел статью вернее мне ее дал хостинг у которого впс
http://habrahabr.ru/post/139931/
Подскажите как настроить, как в примерах или еще нужны какие то правки, и еще интересует момент, как это повлияет на гугл и яндекс ботов.
и еще интересует момент, как это повлияет на гугл и яндекс ботов.
Да как угодно, руки ведь они такие.... 😂 пример: /ru/forum/897150
А в целом - дело полезное, но каждый запрет/блокировку желательно проверять на корректность самому, а не верить чужим конфигам.
Конфигурация VPS? Что за скрипты? Мало данных.
Грузят впс и ддос это часто разные вещи.
Подскажите как настроить, как в примерах или еще нужны какие то правки, и еще интересует момент, как это повлияет на гугл и яндекс ботов.
Если не добавите поисковики в список исключений, то и ваш модуль им очень не понравится :)
Если сильно мучают боты, начните с анализа, куда они долбят и как (GET/POST, только главная / странница поиска/ или ходят как люди). Сколько запросов в секунду.
А дальше можно банить используя менее радикальные меры которые не скажутся на поисковиках.
Если сами не можете, то приложите логи и то кто нибудь глянет и предложит решение.
2 ядра 2 гига 200гб винт. Debian
Судя из ответов появились вопросы, как добавить поисковика в исключение?
И еще не получается вписать те данные в конфиг, нджиникс не перезагружается.
/home/admin/conf/web/nginx.conf
listen 95.200.71.73:80;
server_name site.ru www.site.ru;
error_log /var/log/apache2/domains/site.ru.error.log error;
location / {
proxy_pass http://95.200.71.73:8080;
location ~* ^.+\.(jpeg|jpg|png|gif|bmp|ico|svg|tif|tiff|css|js|htm|html|ttf|otf|webp|woff|txt|csv|rtf|doc|docx|xls|xlsx|ppt|pptx|odf|odp|ods|odt|pdf|psd|ai|eot|eps|ps|zip|tar|tgz|gz|rar|bz2|7z|aac|m4a|mp3|mp4|ogg|wav|wma|3gp|avi|flv|m4v|mkv|mov|mp4|mpeg|mpg|wmv|exe|iso|dmg|swf)$ {
root /home/admin/web/site.ru/public_html;
access_log /var/log/apache2/domains/site.ru.log combined;
access_log /var/log/apache2/domains/site.ru.bytes bytes;
expires max;
try_files $uri @fallback;
}
}
location /error/ {
alias /home/admin/web/site.ru/document_errors/;
}
location @fallback {
proxy_pass http://95.200.71.73:8080;
}
location ~ /\.ht {return 404;}
location ~ /\.svn/ {return 404;}
location ~ /\.git/ {return 404;}
location ~ /\.hg/ {return 404;}
location ~ /\.bzr/ {return 404;}
include /home/admin/conf/web/nginx.site.ru.conf*;
}
/etc/nginx/nginx.conf
user www-data;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;
# Worker config
worker_rlimit_nofile 80000;
events {
worker_connections 65536;
use epoll;
}
http {
# Main settings
sendfile on;
tcp_nopush on;
tcp_nodelay on;
client_header_timeout 1m;
client_body_timeout 10;
client_header_buffer_size 2k;
client_body_buffer_size 256k;
client_max_body_size 100m;
large_client_header_buffers 4 8k;
send_timeout 2;
keepalive_timeout 0;
reset_timedout_connection on;
server_tokens off;
server_name_in_redirect off;
server_names_hash_max_size 512;
server_names_hash_bucket_size 512;
# Log format
log_format main '$remote_addr - $remote_user [$time_local] $request '
'"$status" $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format bytes '$body_bytes_sent';
access_log /var/log/nginx/access.log main;
#access_log off;
# Mime settings
include /etc/nginx/mime.types;
default_type application/octet-stream;
# Compression
gzip off;
gzip_comp_level 9;
gzip_min_length 512;
gzip_buffers 8 64k;
gzip_types text/plain text/css text/javascript
application/x-javascript;
gzip_proxied any;
# Proxy settings
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass_header Set-Cookie;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffers 32 4k;
# SSL PCI Compliance
ssl_session_cache shared:SSL:10m;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_prefer_server_ciphers on;
ssl_ciphers "ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA256:ECDHE-RSA-AES256-SHA:ECDHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES128-SHA256:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES256-GCM-SHA384:AES128-GCM-SHA256:AES256-SHA256:AES128-SHA256:AES256-SHA:AES128-SHA:DES-CBC3-SHA:HIGH:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4";
# Error pages
error_page 403 /error/403.html;
error_page 404 /error/404.html;
error_page 502 503 504 /error/50x.html;
# Cache
proxy_cache_path /var/cache/nginx levels=2 keys_zone=cache:10m inactive=60m max_size=512m;
proxy_cache_key "$host$request_uri $cookie_user";
proxy_temp_path /var/cache/nginx/temp;
proxy_ignore_headers Expires Cache-Control;
proxy_cache_use_stale error timeout invalid_header http_502;
proxy_cache_valid any 3d;
map $http_cookie $no_cache {
default 0;
~SESS 1;
~wordpress_logged_in 1;
}
# Wildcard include
include /etc/nginx/conf.d/*.conf;
}
Какой трафик? Сколько сайтов на VPS? Могу посмотреть сервер.
еррор лог
unknown directive "testcookie" in /home/admin/conf/web/nginx.conf:6
шестая строчка
testcookie off;
Не в трафике дело, боты грузят сервер периодически, помогает выключение на пару минут, потом отпускает.
---------- Добавлено 08.06.2015 в 16:00 ----------
А елки палки не дочитал, там еще модуль нужно установить, сейчас будем читать.
Судя из ответов появились вопросы, как добавить поисковика в исключение?
Можно по ip (указать ip поисковиков)
А можно по юзерагенту сделать условие (важно понимать, что юзерагент легко подделать.)