Alexey®

В Fastpanel есть график загрузки процессора. За сутки 1 раз загрузка процессора поднимается до 100% в момент резервного копирования по расписанию, в остальное время загрузка процессора гораздо ниже. Использование ОЗУ за неделю не поднималось выше 767 МБ из 2 ГБ. В логах ошибок порядка 20 тыс. записей за сутки, в основном предупреждения. Но сейчас нет таких сильных пиков трафика как в ноябре-декабре, они были связаны с чемпионатом мира по футболу в Катаре. Высоких пиков и раньше почти не было, может раз в месяц случались. Разумеется, как только замечу, что сайт недоступен, или снова  будет ожидаться высокий пик трафика, произведу апгрейд тарифа. А пока изучаю облачные решения. 

IP-адреса европейского дата-центра российского хостера не пингуются в 7 из 12 точек Украины. А также из нескольких других городов мира. Несмотря на то, что IP-адреса географически относятся к Европе. Но если Cloudflare пропустит 10000 запросов в минуту и не порежет, то можно остаться у российского хостера.

Проблема пиковых перегрузок, к сожалению, исчезла. Надеюсь, это временно )  

Было сменено 3 шаред-хостинга, из всех трех благополучно выперли под предлогом ddos (на самом деле это живой траф из Телеграм). Переехал на vps. На первом vps стояла защита от ddos, которая, как мне показалось, срезала часть живого трафика во время пиков (10000 запросов в минуту), принимая их за ddos. Защита от ddos стояла на физическом сервере поверх vps, и отключить ее было невозможно. Переехал на второй vps, начал с  небольшого тарифа  (1 ядро, 2ГБ память), но загрузка ЦП оказалась всего несколько процентов, зачастую 1%. Память загружена менее, чем на 1/3. Максимальная загрузка ЦП возникает только во время резервного копирования по расписанию. Отличие от первого vps заключается в панели управления: вместо ISPmanager поставил Fastpanel.  Получается, ISP manager жрет ресурсов гораздо больше, чем сам сайт???

Тем не менее, и сейчас не все идеально. Несмотря на низкую загрузку процессора (несколько процентов), по ощущениям, сайт работает медленнее, чем работал на шаред-хостинге. Во вторых, при проверке через  Ping-Admin, сайт оказывается недоступен из ряда точек мира, в то время, как сайты, оставшиеся на шаред-хостинге, дотупны. Это Нью-Йорк, Украина, Бишкек, ...  Первую проблему можно попробовать решить апгрейдом тарифа. Вторую проблему можно решить с помощью Cloudflare, но, предполагаю, Cloudflare тоже будет резать пиковый трафик. VPS заказан у российского хостера, датацентр в Европе. Видимо, придется заказывать у иностранного хостера. Либо VPS Cloud  , либо Cloud Hosting, чтобы при необходимости можно было задействовать ресурсы даже нескольких физических серверов.

Я использовал бесплатный плагин QTranslate-X, только его развитие остановилось, он совместим с Wordpress 4.5.22, и этого плагина, похоже, уже нет в официальном репозитории WP. Для новых версий WP есть QTranslate-XT на Github, но мигрировать на него с QTranslate-X у меня не получилось, сайт рухнул. Для создания нового сайта на последней версии WP возможно подойдет. Языковые версии размещаю в папках, это SEO-friendly вариант. 

Наверно, масштабируемое облако было бы удобно, но нет времени, уже мигрировал на VPS, тариф проапгрейдил, тормозов пока нет. Посмотрю, что будет вечером.

Ни о каких 30 ТБ в мес. речи не идет. Обычно трафик был скромный, в 1000 раз меньше. До появления пиков трафик за месяц составлял несколько десятков ГБ при включенном сжатии. У хостера, где сайт успешно работал лет 5, политика неограниченной производительности, но лимитированного трафика. С ним я забыл про какие-либо тормоза и про то, как ненужных ботов вычищать, хотя когда-то их наизусть знал. Сейчас сжатие отключил, чтобы ресурсы на него не тратить, да и то, навряд ли потрачу больше терабайта из 5 ТБ, что дается в мес.  на VPS.  

Да, пиковый трафик идет не из США. Но местоположение сервера выбирается не только под пики. Сайт мультиязычный. Трафик за прошлый месяц зафиксирован из 212 стран. США на 2 месте, если гео отсортировать по просмотрам. Саудовская Аравия на 1-м. Да, оптимальное расположение сервера — Западная Европа, в районе выхода трансатлантических магистралей на сушу.

В основном не WP, динамический, но легкий. WP тоже есть, в отдельной папке, с тяжелыми плагинами (мультиязычный, бизнес-справочник) , его нагрузка минимизируется плагином кеширования, который приобрел в комплекте с плагином бизнес-справочника. 

Уже переехал на VPS с минимальным тарифом 1000 р. в мес. у того же хостера. С текущей нагрузкой пока справляется, оперативная память 2 ГБ задействована на 80-90%. Завтра вечером и послезавтра в 18.00 ожидаю рост трафика в несколько десятков раз, поэтому буду апгрейдить тариф, рассчитав требуемый объем памяти.  Максимальный тариф на VPS  у этого хостера:  Процессор - 8*3400 МГц , Память - 16000 МБ за 3400 р.  Хостера решил не менять, поскольку суппорт в критический момент пошел  навстречу и разблокировал сайт.  С моей стороны все законно. User generated content постмодерируется, ссылки автоматически проверяются на фишинг и блэклистятся, абузы периодически проскакивают, с ними работаю, устраняю нарушения, блокирую урлы, добавляю в черный список и т.д..

Источник пикового трафика — пара арабских телеграмм каналов со 100+ тыс. и 50 тыс. подписчиков. Периодически в них одновременно публикуются сообщения со ссылкой, ведущей на мой сайт. В следующий момент и в течение последующих 1-2 часов значительная часть подписчиков каналов из множества арабских  и европейских стран переходит по ссылке.  Хостер зафиксировал 10000 запросов в минуту, заблокировал сайт, предполагая ddos, после объяснения сразу разблокировал, но в случае повтора будет вынужден заблокировать.  Следующие пики ожидаю завтра и послезавтра в 18.00.  Перехожу на VPS, но понимаю, без дедика в будущем не обойтись.

Уточню географию аудитории: весь мир, преимущественно США, страны Персидского залива, Западная Европа. Желательно найти хостинг на мощном железе, но без жесткого разделения ресурсов между клиентами, чтобы позволял сайту успешно отрабатывать эти редкие пики, изредка задействуя значительные ресурсы, но большую часть времени не создавая высокой нагрузки. Цена может быть повышенная. VPS не подходит, т.к. предоставляет только часть ресурсов физического сервера, тогда уж лучше дедик заказывать. 

Сегодня заметил подобного бота: TrendsmapResolver.  Сервис уведомления своих клиентов о появлении в Интернете свежей информации по заданным ключевым словам. Ходит по соцсетям, собирает самые свежие посты по заданным ключевикам, переходит по ссылкам на сайты. Далее ходит по сайтам, кликает по ссылкам, кнопкам. Про этого бота знаю давно, но сегодня обратил внимание, что он кликает даже по кнопке "Not a robot" Google Recaptcha V2, многократно, раз по 10 подряд с интервалом в полсекунды-секунду, снова оказываясь на странице с неразгаданной капчей.   Предполагаю, что по рекламе он тоже может  ненамеренно кликать. Из этого, видимо, и складывается недоверие к трафику с соцсетей. У меня реклама показывается только пользователям, прошедших через капчу с максимальным уровнем сложности. Бот картинки капчи не разгадывает. Его ip адрес принадлежит Hetzner в Германии. По данным Adsense, за ночь из Германии через капчу прошли всего 2 раза. Из этих двух показов, 1 раз кликнули по рекламе. Собственно, на это и обратил внимание, отслеживая качество трафика.