Юзерагенты прописываете на свой вкус.
# Blocking by User Agent (блокировка по юзер-агенту) if ($http_user_agent ~ (ZmEu|libwww-perl|SurdotlyBot|wget|AppEngine-Google|MJ12|majestic12|MJ12bot) ) { return 404; }
Приват, два акка, на один упали уторм, на втором тишина.
Детский сад, сайт(и что на нем) того чей домен на данный момент. Вы же его не украли.
Кто владелец домена сейчас? Все остальное это лишняя трата времени и нервов.
И никто ничего не докажет. Стати воровали, воруют и будут воровать. И пофигу на метрику, вебмастер и т.п.
---------- Добавлено 23.12.2019 в 00:16 ----------sunona, если домен на данный момент ваш, поберегите свои нервы, шлите всех подальше. И как я выше советовал, не ведите диалог если с вами говорят в таком тоне.---------- Добавлено 23.12.2019 в 00:29 ----------
Извините, но это чушь.
Проблема как мне кажется раздута. У меня пару дедиков, и Вы не представляете сколько в логах подобного. Кто просто сканирует на уязвимости, кто тестирует свой ботнет или что там еще флудом, и много прочего мусора. Логи ну очень большие.
Некоторых блокирую, не большинство просто забить. Со всем этим без проблем справляется, как тут выше писАли, правильно настроенный сервер, файрвол, Nginx или что там у вас.
У вас же коммерческий проект, правильно? Реклама же есть.
Не можете все настроить, найми те админа, не хаватает ресурсов сервера - возьмите больше.
Ну и самое банальное, станьте за cloudflare.
Ну и как писАли выше, дело тут не в нидерландах или какой другой стране или хостере. Дело в людях что этим занимаются, и поверьте они будут подобным заниматься и дальше.
Лично как бы я поступил.
1. Сделайте полный бекап сайта и держите у себя на случай если "пугливый" хостер попросит вас уйти. Маловероятно, но были случаи.
2. Не вступайте в диалог в таком формате как вы выше написали. Какая метрика, какие скрины. Пусть конкретно подтвердит авторские права. Все, никаких дискуссий. Где гарантии что но например не стырил их когдато откудато и т.п.
Как пример вот что просит яндекс если ему отправлять жалобу по поводу авторских прав.
https://yandex.ru/support/abuse/troubleshooting/zen/copyright-complaint.html
3. Ни яндекс ни гугл не умеет опредилять первоисточник, и оригинальные тексти и прочее не поможет.
Почему я так уверен? У меня с сайта дзен канал тырит стати, ранжируется више, написал яндексу. Вот ответ:
Мы действительно считаем, что пользователю будет интереснее увидеть сайт, на котором текст был впервые опубликован, однако мы не накладываем ограничения на сайты с идентичным текстовым контентом, так как не имеем компетенции регулятора в этой области. Ранжирование результатов поиска - это технически сложный процесс, ведь алгоритм упорядочивает страницы сайтов на основании совокупности нескольких сотен факторов, где добавление в "Оригинальные тексты" или первичная публикация лишь один из них. При упорядочивании сайтов в поиске учитывается не только содержание, но и совокупность большого количества факторов, например, форма представления информации (удобство навигации по сайту, характер используемой рекламы, читаемость текста и многие другие) и поведение пользователей при посещении сайта.
Резюмирую - забейте.
В данном конкретном случае, но как написали выше, если бы это была какая редакция, юр.лицо там и все такое, тогда да, проблема.
Хотел спросить про скорость, банальный спидтест на
2 x Xeon E5620 2.4 ГГц (8 ядер) | 16 Гб Ram | 1 000 Гб HDD или 120 Гб SSD | IPMI | 1 gbt/s(30Тб)
Можно как то увидеть, я понимаю что там не гарантия 1 gbt/s, поэтому и вопрос
Взял для теста
RUKVM-1-U Процессор: 1 ядро, Память: 1 Гб, Диск: 10 Гб SSD
Скорость интернет порта на всех тарифах до 100mbt/s.
Так тут 50-70mbt/s в среднем. Да, я понимаю что тоже не гарантия и тариф минимальный.
Вот отсюда и вопрос как обстоят дела на других, более дорогих VPS. И на дедиках?
Спасибо.
Здесь проверьте ответ с юзерагентами яндекса и других.
https://checkmy.ru/
отсюда и надо начинать мне кажется. По описанию вы не получите 200, а дальше уже по ситуации.
Почему начал копать в сторону Ngnix? Так он отдает эти самые картинки, правильно?
По дискам скорость нормальная, SSD, это откидываем. По top видно что на них нагрузка минимальна.
Ширина канала тоже не забита, и скорости хватает.
Картинки все сжаты, там по gmetrix видно общий вес страницы. В общем страницы по 7-10 мб.
К сожалению, для себя же, урл дать не могу.
На данный момент подправил немного конфиг ngnix, грузится нормально стало. Но это под ночь и под утро трафик спал, поэтому рано судить.
Дело в том что htop и atop показывают что сервер как бы вообще отдыхает. Нет нагрузки но сайты тупят. Канал тоже загружается на пару Мб.
Здесь скрины немного с другого сервера, но суть та же. Таких у меня 4. Проблема одинаковая. Сайти подтупливают а нагрузки как таковой и нет.
Поэтому и думаю что гдето что то я не так настроил, тоисть не использую полностью ресурсы.
Или же это такая проблема у хетзнера, тойсть переезд на локацию поближе к ЦА, Россия, СНГ, решит ли прблему.
Я у хетзнера уже лет так 3-4, проблем никога подобных не было. Все открывалось бысто на серверах попроще.
а) используется, прописано отдельно для конфига домена
б) фото сжаты, по 100-200 кб
в) Что с ленивой что без. Пробовал, без разницы.
по gmetrix все более мение, ниже скрин дам.
Что знал проверил, сам сервер вообще такое чуство что отдыхает... ---------- Добавлено 17.12.2019 в 00:32 ----------
Я не знаю в чем проблема, предположил что где то накосячил.
Почему все на апач? Вроде как у меня он не задействован.
Тут отдельный конфиг под каждый домен
server { server_name site.ru www.site.ru; charset off; index index.php; disable_symlinks if_not_owner from=$root_path; include /etc/nginx/vhosts-includes/*.conf; include /etc/nginx/vhosts-resources/site.ru/*.conf; access_log /var/www/httpd-logs/site.ru.access.log; error_log /var/www/httpd-logs/site.ru.error.log notice; ssi on; set $root_path /var/www/user/data/www/site.ru; root $root_path; gzip on; gzip_comp_level 5; gzip_types text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/bmp application/java application/msword application/vnd.ms-fontobject application/x-msdownload image/x-icon image/webp application/json application/vnd.ms-access application/vnd.ms-project application/x-font-otf application/vnd.ms-opentype application/vnd.oasis.opendocument.database application/vnd.oasis.opendocument.chart application/vnd.oasis.opendocument.formula application/vnd.oasis.opendocument.graphics application/vnd.oasis.opendocument.spreadsheet application/vnd.oasis.opendocument.text audio/ogg application/pdf application/vnd.ms-powerpoint application/x-shockwave-flash image/tiff application/x-font-ttf audio/wav application/vnd.ms-write application/font-woff application/font-woff2 application/vnd.ms-excel; add_header X-Frame-Options "SAMEORIGIN"; add_header X-XSS-Protection "1; mode=block"; add_header X-Content-Type-Options "nosniff"; location / { location ~ [^/]\.ph(p\d*|tml)$ { try_files /does_not_exists @php; } location = /rss.xml { rewrite ^ /index.php?q=rss.xml; } # BEGIN W3TC Browser Cache location ~ \.(css|htc|less|js|js2|js3|js4)$ { expires 31536000s; etag on; if_modified_since exact; add_header Pragma "public"; add_header Cache-Control "max-age=31536000, public"; try_files $uri $uri/ $uri.html /index.php?$args; } location ~ \.(html|htm|rtf|rtx|svg|txt|xsd|xsl|xml)$ { expires 3600s; etag on; if_modified_since exact; add_header Pragma "public"; add_header Cache-Control "max-age=3600, public"; try_files $uri $uri/ $uri.html /index.php?$args; } location ~ \.(asf|asx|wax|wmv|wmx|avi|bmp|class|divx|doc|docx|eot|exe|gif|gz|gzip|ico|jpg|jpeg|jpe|webp|json|mdb|mid|midi|mov|qt|mp3|m4a|mp4|m4v|mpeg|mpg|mpe|mpp|otf|_otf|odb|odc|odf|odg|odp|ods|odt|ogg|pdf|png|pot|pps|ppt|pptx|ra|ram|svg|svgz|swf|tar|tif|tiff|ttf|ttc|_ttf|wav|wma|wri|woff|woff2|xla|xls|xlsx|xlt|xlw|zip)$ { root $root_path; valid_referers none blocked server_names ~(site|yandex|google|yahoo|bing|facebook|subscribe|feedburner|mail|rambler|nigma|ask|qip|bing); if ($invalid_referer) { return 403; } expires 31536000s; etag on; if_modified_since exact; add_header Pragma "public"; add_header Cache-Control "max-age=31536000, public"; try_files $uri $uri/ $uri.html /index.php?$args; } location ~ \.(bmp|class|doc|docx|eot|exe|ico|webp|json|mdb|mpp|otf|_otf|odb|odc|odf|odg|odp|ods|odt|ogg|pdf|pot|pps|ppt|pptx|svg|svgz|swf|tif|tiff|ttf|ttc|_ttf|wav|wri|woff|woff2|xla|xls|xlsx|xlt|xlw)$ { etag off; if_modified_since off; try_files $uri $uri/ $uri.html /index.php?$args; } # END W3TC Browser Cache # BEGIN W3TC Minify core rewrite ^/wp-content/cache/minify/ /index.php last; # END W3TC Minify core } location @php { fastcgi_index index.php; fastcgi_param PHP_ADMIN_VALUE "sendmail_path = /usr/sbin/sendmail -t -i -f webmaster@site.ru"; fastcgi_pass unix:/var/www/php-fpm/user.sock; fastcgi_split_path_info ^((?U).+\.ph(?:p\d*|tml))(/?.+)$; try_files $fastcgi_script_name =404; include fastcgi_params; fastcgi_read_timeout 5000; fastcgi_buffer_size 128k; fastcgi_buffers 4096 64k; } return 301 https://$host:443$request_uri; gzip_disable "msie6"; expires 365s; listen IP:80; listen [IP]:80; } server { server_name site.ru www.site.ru; ssl_certificate "/var/www/httpd-cert/user/site.ru_le1.crtca"; ssl_certificate_key "/var/www/httpd-cert/user/site.ru_le1.key"; ssl_dhparam /etc/ssl/certs/dhparam4096.pem; ssl_stapling on; ssl_stapling_verify on; resolver 8.8.8.8 8.8.4.4 valid=300s; ssl_session_timeout 24h; ssl_session_cache shared:SSL:2m; ssl_ciphers kEECDH+AES128:kEECDH:kEDH:-3DES:kRSA+AES128:kEDH+3DES:DES-CBC3-SHA:!RC4:!aNULL:!eNULL:!MD5:!EXPORT:!LOW:!SEED:!CAMELLIA:!IDEA:!PSK:!SRP:!SSLv2; ssl_prefer_server_ciphers on; ssl_protocols TLSv1 TLSv1.1 TLSv1.2; charset off; index index.php; disable_symlinks if_not_owner from=$root_path; include /etc/nginx/vhosts-includes/*.conf; include /etc/nginx/vhosts-resources/site.ru/*.conf; access_log /var/www/httpd-logs/site.ru.access.log; error_log /var/www/httpd-logs/site.ru.error.log notice; ssi on; set $root_path /var/www/user/data/www/site.ru; root $root_path; listen IP:443 ssl http2; listen [IP]:443 ssl http2; gzip on; gzip_comp_level 5; gzip_disable "msie6"; gzip_types text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/bmp application/java application/msword application/vnd.ms-fontobject application/x-msdownload image/x-icon image/webp application/json application/vnd.ms-access application/vnd.ms-project application/x-font-otf application/vnd.ms-opentype application/vnd.oasis.opendocument.database application/vnd.oasis.opendocument.chart application/vnd.oasis.opendocument.formula application/vnd.oasis.opendocument.graphics application/vnd.oasis.opendocument.spreadsheet application/vnd.oasis.opendocument.text audio/ogg application/pdf application/vnd.ms-powerpoint application/x-shockwave-flash image/tiff application/x-font-ttf audio/wav application/vnd.ms-write application/font-woff application/font-woff2 application/vnd.ms-excel; expires 365s; add_header Strict-Transport-Security "max-age=31536000; includeSubDomains"; add_header X-Frame-Options "SAMEORIGIN"; add_header X-XSS-Protection "1; mode=block"; add_header X-Content-Type-Options "nosniff"; location / { location ~ [^/]\.ph(p\d*|tml)$ { try_files /does_not_exists @php; } location / { try_files $uri $uri/ /index.php?q=$uri&$args; } location = /rss.xml { rewrite ^ /index.php?q=rss.xml; } } # BEGIN W3TC Browser Cache location ~ \.(css|htc|less|js|js2|js3|js4)$ { expires 31536000s; etag on; if_modified_since exact; add_header Pragma "public"; add_header Cache-Control "max-age=31536000, public"; try_files $uri $uri/ $uri.html /index.php?$args; } location ~ \.(html|htm|rtf|rtx|svg|txt|xsd|xsl|xml)$ { expires 3600s; etag on; if_modified_since exact; add_header Pragma "public"; add_header Cache-Control "max-age=3600, public"; try_files $uri $uri/ $uri.html /index.php?$args; } location ~ \.(asf|asx|wax|wmv|wmx|avi|bmp|class|divx|doc|docx|eot|exe|gif|gz|gzip|ico|jpg|jpeg|jpe|webp|json|mdb|mid|midi|mov|qt|mp3|m4a|mp4|m4v|mpeg|mpg|mpe|mpp|otf|_otf|odb|odc|odf|odg|odp|ods|odt|ogg|pdf|png|pot|pps|ppt|pptx|ra|ram|svg|svgz|swf|tar|tif|tiff|ttf|ttc|_ttf|wav|wma|wri|woff|woff2|xla|xls|xlsx|xlt|xlw|zip)$ { root $root_path; valid_referers none blocked server_names ~(site|yandex|google|yahoo|bing|facebook|subscribe|feedburner|mail|rambler|nigma|ask|qip|bing); if ($invalid_referer) { return 403; } expires 31536000s; etag on; if_modified_since exact; add_header Pragma "public"; add_header Cache-Control "max-age=31536000, public"; try_files $uri $uri/ $uri.html /index.php?$args; } location ~ \.(bmp|class|doc|docx|eot|exe|ico|webp|json|mdb|mpp|otf|_otf|odb|odc|odf|odg|odp|ods|odt|ogg|pdf|pot|pps|ppt|pptx|svg|svgz|swf|tif|tiff|ttf|ttc|_ttf|wav|wri|woff|woff2|xla|xls|xlsx|xlt|xlw)$ { etag off; if_modified_since off; try_files $uri $uri/ $uri.html /index.php?$args; } # END W3TC Browser Cache # BEGIN W3TC Minify core rewrite ^/wp-content/cache/minify/ /index.php last; # END W3TC Minify core location @php { fastcgi_index index.php; fastcgi_param PHP_ADMIN_VALUE "sendmail_path = /usr/sbin/sendmail -t -i -f webmaster@site.ru"; fastcgi_pass unix:/var/www/php-fpm/user.sock; fastcgi_split_path_info ^((?U).+\.ph(?:p\d*|tml))(/?.+)$; try_files $fastcgi_script_name =404; include fastcgi_params; fastcgi_read_timeout 5000; fastcgi_buffer_size 128k; fastcgi_buffers 4096 64k; } }
