Форум Сайтостроение Хостинг

Сайт медленно работает из-за множества запросов с разных IP

1 234
AGHost
На сайте с 16.11.2011
Offline
115
AGHost
#21

batot, сюда бы скинули график за 24 часа, когда все зависло.

8 лет на рынке услуг хостинга - https://agho.st (https://agho.st)
S
На сайте с 17.08.2008
Offline
114
smbbws
#22
Превышает лимит нагрузки процессора.

Сколько запросов в секунду? И скиньте последний мегабайт лога вебсервера куда-нибудь на обозрение.

B
На сайте с 04.09.2010
Offline
80
batot
#23
AGHost:
batot, сюда бы скинули график за 24 часа, когда все зависло.



---------- Добавлено 09.02.2017 в 04:36 ----------

smbbws:
Сколько запросов в секунду? И скиньте последний мегабайт лога вебсервера куда-нибудь на обозрение.

185.77.221.246 - - [08/Feb/2017:13:11:24 +0300] "GET /articles-featured/proizvedenija/filmy/nachalofilm HTTP/1.0" 200 29254

130.193.51.27 - - [08/Feb/2017:13:12:40 +0300] "GET /articles-rating/avtory/zh/zhyone-zhan-per HTTP/1.0" 403 633

174.34.135.242 - - [08/Feb/2017:13:11:47 +0300] "GET /tags/search?q=%D1%81%D0%BE%D0%BB%20%D0%B3%D1%83%D0%B4%D0%BC%D0%B0%D0%BD HTTP/1.0" 200 20840

141.8.184.17 - - [08/Feb/2017:13:11:08 +0300] "GET /articles-rating/avtory/zh/zhyone-zhan-per HTTP/1.0" 200 21519

51.255.173.44 - - [08/Feb/2017:13:12:02 +0300] "GET /tags/search?q=%D1%81%D1%82%D0%B0%D1%80%D1%82%D0%B0%D0%BF HTTP/1.0" 200 31581

130.193.51.27 - - [08/Feb/2017:13:13:03 +0300] "GET /articles-rating/avtory/zh/zheljazny-rodzher HTTP/1.0" 403 633

51.255.173.44 - - [08/Feb/2017:13:11:15 +0300] "GET /tags/search?q=%D1%81%D1%82%D0%B0%D0%BD%D0%B8%D1%81%D0%BB%D0%B0%D0%B2%20%D0%BB%D0%B5%D0%BC HTTP/1.0" 200 21901

185.71.215.33 - - [08/Feb/2017:13:12:01 +0300] "GET /articles/proizvedenija/filmy/amerikancy-1992-film HTTP/1.0" 200 33196

130.193.50.34 - - [08/Feb/2017:13:13:20 +0300] "GET /articles/proizvedenija/knigi?page=9 HTTP/1.0" 403 633

5.9.106.230 - - [08/Feb/2017:13:11:41 +0300] "GET /tags/search?q=%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5%20%D1%81%D0%BE%D0%B1%D1%8B%D1%82%D0%B8%D1%8F HTTP/1.0" 200 22022

163.172.66.50 - - [08/Feb/2017:13:13:21 +0300] "GET /tags/search?q=%D0%BC%D0%BE%D1%82%D0%B8%D0%B2%D0%B0%D1%86%D0%B8%D1%8F HTTP/1.0" 403 633

5.9.106.230 - - [08/Feb/2017:13:12:49 +0300] "GET /tags/search?q=%D0%BA%D0%B0%D0%BD%D1%82 HTTP/1.0" 200 21933

5.9.106.230 - - [08/Feb/2017:13:12:09 +0300] "GET /tags/search?q=%D0%BA%D0%B0%D0%B4%D1%80%D1%8B HTTP/1.0" 200 21776

174.34.135.242 - - [08/Feb/2017:13:12:46 +0300] "GET /tags/search?q=%D1%81%D0%BE%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5%20%D1%81%D0%B5%D1%82%D0%B8 HTTP/1.0" 200 24684

185.79.136.250 - - [08/Feb/2017:13:13:12 +0300] "GET /posts/19-smeshnye-rasskazy-chehova.html HTTP/1.0" 200 46543

51.255.173.44 - - [08/Feb/2017:13:12:51 +0300] "GET /tags/search?q=%D1%81%D1%82%D0%B5%D0%B9%D0%BD%D0%B1%D0%B5%D0%BA HTTP/1.0" 200 31308

207.46.13.27 - - [08/Feb/2017:13:12:47 +0300] "GET /posts-monthly HTTP/1.0" 200 24784

174.34.135.242 - - [08/Feb/2017:13:13:17 +0300] "GET /tags/search?q=%D1%81%D0%BF%D0%B0%D1%81%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BC%D0%B8%D1%80%D0%B0 HTTP/1.0" 200 21879

185.71.214.234 - - [08/Feb/2017:13:13:51 +0300] "GET /articles-rating/proizvedenija/folklor/drevnegrecheskie-mify HTTP/1.0" 200 46811

51.255.173.44 - - [08/Feb/2017:13:13:40 +0300] "GET /tags/search?q=%D1%81%D1%82%D0%B8%D0%B2%D0%B5%D0%BD%20%D0%BA%D0%B8%D0%BD%D0%B3 HTTP/1.0" 200 24321

185.77.220.247 - - [08/Feb/2017:13:12:56 +0300] "GET /articles/rubriki/vyzhivanie HTTP/1.0" 200 113478

163.172.65.131 - - [08/Feb/2017:13:15:05 +0300] "GET /articles/avtory?page=3 HTTP/1.0" 403 633

185.79.133.74 - - [08/Feb/2017:13:14:08 +0300] "GET /articles/rubriki/biznes?page=2 HTTP/1.0" 200 81568

185.79.138.236 - - [08/Feb/2017:13:13:22 +0300] "GET /249-pro-rossiiskii-biznes-v-90-e-i-reklamu.html HTTP/1.0" 200 47741

141.8.142.173 - - [08/Feb/2017:13:13:36 +0300] "GET /articles-rating/podborki/utopia HTTP/1.0" 200 22461

5.9.106.230 - - [08/Feb/2017:13:13:49 +0300] "GET /tags/search?q=%D0%BA%D0%B0%D1%80%D0%B4%D0%B8%D0%BD%D0%B0%D0%BB HTTP/1.0" 200 21204

51.255.173.44 - - [08/Feb/2017:13:15:44 +0300] "GET /tags/search?q=%D1%81%D1%82%D1%80%D0%B0%D0%B6%D0%B8%20%D0%B3%D0%B0%D0%BB%D0%B0%D0%BA%D1%82%D0%B8%D0%BA%D0%B8 HTTP/1.0" 200 21910

66.249.64.119 - - [08/Feb/2017:13:15:44 +0300] "GET /21-kak-i-za-chto-bogi-nakazali-carja-sizifa.html HTTP/1.0" 200 25683

174.34.135.242 - - [08/Feb/2017:13:15:45 +0300] "GET /tags/search?q=%D1%81%D1%82%D0%B0%D0%BD%D0%B8%D1%81%D0%BB%D0%B0%D0%B2%20%D0%BB%D0%B5%D0%BC HTTP/1.0" 200 30837

185.71.214.202 - - [08/Feb/2017:13:15:45 +0300] "GET /257-don-vinchenco-pytaetsja-dobyt-svedenija-o-klarense-u-ego-otca.html HTTP/1.0" 200 49729

185.71.215.105 - - [08/Feb/2017:13:15:45 +0300] "GET /articles/podborki/poedinki HTTP/1.0" 200 32417

174.34.135.242 - - [08/Feb/2017:13:15:51 +0300] "GET /tags/search?q=%D1%82%D0%B5%D0%BC%D0%BD%D0%B0%D1%8F%20%D1%81%D1%82%D0%BE%D1%80%D0%BE%D0%BD%D0%B0%20%D0%B4%D1%83%D1%88%D0%B8 HTTP/1.0" 200 30986

174.34.135.242 - - [08/Feb/2017:13:15:19 +0300] "GET /tags/search?q=%D1%81%D1%80%D0%B5%D0%B4%D0%BD%D0%B8%D0%B5%20%D0%B2%D0%B5%D0%BA%D0%B0 HTTP/1.0" 200 21909

185.79.139.10 - - [08/Feb/2017:13:15:13 +0300] "GET /articles/rubriki/tehnologii HTTP/1.0" 200 114724

5.9.106.230 - - [08/Feb/2017:13:15:46 +0300] "GET /tags/search?q=%D0%BA%D0%B0%D1%80%D1%82%D0%BC%D0%B0%D0%BD HTTP/1.0" 200 37868

51.255.173.44 - - [08/Feb/2017:13:15:46 +0300] "GET /tags/search?q=%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%B5%D0%B3%D0%B8%D1%8F HTTP/1.0" 200 30746

Подскажите на правильном ли Проблемы с продвижением сайта Помогите советом или делом)))
Оптимизайка
На сайте с 11.03.2012
Offline
396
Оптимизайка
#24

Ban all subnets of datacenters. According to your logs, there are many full text search queries (search?q=...) from Hetzner, OVH, Leaseweb. These queries do system load.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
Jaf4
На сайте с 03.08.2009
Offline
804
Jaf4
#25

вот это нагружает хостинг

/tags/search?q=

У тебя раз в пару минут с нескольких айпи запрашивают поиск, это и грузит. Сделай какую-нибудь галочку или невидимое поле для отлова ботов.

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
B
На сайте с 04.09.2010
Offline
80
batot
#26
Jaf4:
вот это нагружает хостинг


У тебя раз в пару минут с нескольких айпи запрашивают поиск, это и грузит. Сделай какую-нибудь галочку или невидимое поле для отлова ботов.

Ясно, а как это сделать? В robots.тхт прописать:

User-agent: *

Disallow: /tag

Правильно?

S
На сайте с 17.08.2008
Offline
114
smbbws
#27

забань эти айпишники


185.79.139.10
5.9.106.230
174.34.135.242
207.46.13.27

а это 207.46.13.27 мсн бот, от него больше вреда, чем пользы

LineHost
На сайте с 20.01.2007
Offline
339
LineHost
#28

Да тут не боты виноиваты, просто у хостёра ночью делается бэкап вот и из за общей нагрузки зашкаливает CPU. С таким подходом можно вобще всё забанить и оствить только свой IP. И после как зайдёшь в этот же период, окажется та же перегрузка на CPU. Себя тоже банить будете ;)

SERV.LT - Стабильные услуги хостинга, KVM VPS в Литве, Франции. (https://www.serv.lt/ru/vps/kvm/) Недорогие выделенные серверы (https://www.serv.lt/ru/dedicated-lt/) в Литве.
Бан бота Яндекса хостером Про нагрузку adminvps Что с qqhost.ru?
Jaf4
На сайте с 03.08.2009
Offline
804
Jaf4
#29
batot:
Jaf4:
У тебя раз в пару минут с нескольких айпи запрашивают поиск, это и грузит.
Ясно, а как это сделать? В robots.тхт прописать:

User-agent: *

Disallow: /tag

Правильно?

нет. Все не так. Совсем. Ты уверен, что это боты? Я нет. Вполне возможно люди ищут, ибо навигацией сложно/долго/неффективно/неочевидно/неудобно, большой список и т.п

Если не можешь сообразить что делать - выпили функцию поиска движком совсем. Поставь поиск по сайту с помощью поисковиков.

https://cse.google.ru/cse/all

https://site.yandex.ru/

Читай внимательно условия использования сервисов!

Еще вариант - пересади сайт на хостинг пожирней, чтобы не упираться в ограничения. Этот вариант сильно предпочтительней. Сейчас просто попытался открыть твой сайт - задолбался ждать. Открывался больше минуты!

Хостинг у джино вне облака и SSD не работает с движками! Там максимум инклюды нормально обрабатываются и простенькие функции. Меняй хостера или бери у них ВПС-ку старше начальной (499 р./мес).

Еще можешь у смартапи посмотреть, там все с SSD легко потянет твой сайт. Без SSD - тоже потянет, но упрется быстрей. В любом случае у них есть тестовый период, можешь заценить.

Облако тэгов и SEO Вопрос по robots.txt Как сделать товарную витрину?
MV
На сайте с 19.01.2017
Offline
31
MaksimVS
#30

Так же как вариант, при запросе на поиск поставить recaptcha, для отсева ботов.

Банить ip адреса смысла нет, сложности изменить IP адрес нет.

NVME хостинг (https://webhost1.ru/hosting) с защитой от DDoS и вирусных атак, без ограничений. Бесплатный SSL. SSD VDS (https://webhost1.ru/vds) в Москве и Европе с администрированием. Качественный выделенный сервер (https://webhost1.ru/dedicated-server) с администрированием.
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий