slizh: Нас Vmware вообще не интересует. Мы чисто решили для сравнения протестировать. Мы хотим, чтобы KVM работал нормально, а не резал скорость хотя бы чтения.
С iOPS у нас все в порядке. Именно обычная команда dd на чтение сильно проседает на VPS и мы не можем понять причину.
dd на запись:
dd if=/dev/zero of=test bs=64k count=16k conv=fdatasync oflag=direct
dd на чтение:
dd if=test of=/dev/null bs=1M count=1024 iflag=direct
slizh: Скорость показывает постоянно одинаковую. И судя по тому, что при смене рейд ничего не меняется, то дело явно в типе виртуализации и метода хранения данных. Может в LVM есть какие-то ограничения, чтобы 1 VPS не накрыла всю ноду?
Причём здесь LVM?
Ограничения обычно ставятся на IOPS-ы, а не на пропускную способность. Плюс сам драйвер имеет свой потолок, но он как правило сильно выше 1 Гб/с.
У вас везде Thick provision eargy zeroed? Везде VM-Tools установлены?
Какую скорость вы хотите поднять - чтение или запись?
Я спрашиваю вас потому, что у вас слишком большие различия в скорости между гипервизором и виртуалкой, там должно быть процентов 10.
Тестировать мегабайты в секунду на 3D TLC дисках - пустое занятие. Там в один день прилетит 3 Гб/с а в другой день - 1 Мегабайт в секунду. У вас может быть что угодно - процесс сбора мусора, заполненность дисков данными, работа контроллера и т.д. Это для гипервизора.
На виртуалке я бы посмотрел на размер сектора при условии, что драйвер virtio.
Но вообще лучше отталкиваться от iops-ов
И ещё одно - у вас на Proxmox скорее всего используется ZFS, которая активно кэширует все данные в память. Чтобы проводить тесты надо либо использовать Ext4 либо указывать размер тестового файла в 5-6 раз больше объема ОЗУ и заполнять его рандомными данными (не нулями).
Я пока что все больше начинаю подозревать, что вот эти боты - по факту какой-то префетчинг браузеров, который исполняет JS и поэтому засчитывается в людей, потому что их пропускает не только Antibot, но и Recaptcha v3 и Cloudflare.
Я дорабатывал Antibot на установку гуглевской рекапчи, но толку это не дало. Третья рекапча их считает людьми, а подсовывать им автобусы со светофорами второй рекапчи рука не поднялась, т.к. при её установке ещё сильнее растут отказы среди живых людей, которых метрика таковыми и считает.
В общем, пока что на основании всего этого пришёл к выводу, что аккуратный бан хостеров + антибот + настройки метрики на отсев всех роботов - это самый простой и эффективный способ борьбы с роботами.
Следующим шагом можно манипулировать с выводом метрики и аналитики, подсовывая их только тем, кого вы за людей держите, но опять же на ум кроме черных списков IP и геолокации никаких других правил по отсеву людей от ботов не приходит.
Ну а со стороны фронта можно пробовать подсовывать куку когда у юзера активно окно. Но опять же, я уверен, что в рекапче что-то подобное реализовано.
vga1: По первому пункту способов у Я. несколько: Метрика, liveinternet(писали о сливе данных в Я), Я.броузер (10% всех броузеров) и реклама РСЯ. Теоретически убрать можно все.
По второму, сайт в России, можно скриптом Оптимизайки забанить основные буржуйские AS, откуда боты идут через прокси. Заходы из ботнета не ограничить.
89.151.179.198 - Чебоксары, Ростелеком
176.109.35.117 - Московская область, Кварц
46.164.228.39 - Информсвязь, Воронеж.
Ну как бы и дальше можно скинуть, тыщи две за сегодня наберется.
mr888: А нафига хацкерам самим то заходить? В ботнете сделали задание машинам, они все сами делают. Снятие метрик вопрос не особо решаем, в том же задании для ботов можно указать после захода с ПС через секунду-2-3 вернуться в серп.
Я у этих хацкеров не видел яндексовских куков, поэтому сомневаюсь, что они прямо берут и из яндекса приходят, скорее всего реф. подсовывают.
mr888: Тут нужно думать глубже, вероятно боты с троянских ботнетов, т.е. вредоносное ПО установлено у реальных юзеров, а заходы происходят у них в фоновом режиме.
А чего тут думать? Скорее всего, на зараженных компах стоят прокси, через которые ходят хацкеры.
Проще всего - снять к такой-то матери метрику и пусть ходят себе строем.
Чисто по сайту - убедиться что он не показывается во фреймах, что в метрике настроена "только этот сайт, 100% точность, учитывать роботов по точным правилам и поведению".
Дальше варианты - жителям Москвы показывать метрику, жителям Парижа - не показывать. Если сайт Московский, то можно и все кроме России закрыть или перекидывать на англоязычную версию без метрики. Вообще море топовых сайтов гугля закрыты для России, а куча российских - для остального мира. Сегодня это везде, и висят они на первых страницах выдачи, и уходить не собираются.
Я вот скажу по своему опыту - московских ip-адресов среди этих гадов пока что минимум: в основном черноземье, Украина и Молдова.
Нас Vmware вообще не интересует. Мы чисто решили для сравнения протестировать. Мы хотим, чтобы KVM работал нормально, а не резал скорость хотя бы чтения.
С iOPS у нас все в порядке. Именно обычная команда dd на чтение сильно проседает на VPS и мы не можем понять причину.
dd на запись:
dd if=/dev/zero of=test bs=64k count=16k conv=fdatasync oflag=direct
dd на чтение:
dd if=test of=/dev/null bs=1M count=1024 iflag=direct
У вас на Proxmox стоит ZFS?
Скорость показывает постоянно одинаковую. И судя по тому, что при смене рейд ничего не меняется, то дело явно в типе виртуализации и метода хранения данных. Может в LVM есть какие-то ограничения, чтобы 1 VPS не накрыла всю ноду?
Причём здесь LVM?
Ограничения обычно ставятся на IOPS-ы, а не на пропускную способность. Плюс сам драйвер имеет свой потолок, но он как правило сильно выше 1 Гб/с.
У вас везде Thick provision eargy zeroed? Везде VM-Tools установлены?
Какую скорость вы хотите поднять - чтение или запись?
Я спрашиваю вас потому, что у вас слишком большие различия в скорости между гипервизором и виртуалкой, там должно быть процентов 10.
Тестировать мегабайты в секунду на 3D TLC дисках - пустое занятие. Там в один день прилетит 3 Гб/с а в другой день - 1 Мегабайт в секунду. У вас может быть что угодно - процесс сбора мусора, заполненность дисков данными, работа контроллера и т.д. Это для гипервизора.
На виртуалке я бы посмотрел на размер сектора при условии, что драйвер virtio.
Но вообще лучше отталкиваться от iops-ов
И ещё одно - у вас на Proxmox скорее всего используется ZFS, которая активно кэширует все данные в память. Чтобы проводить тесты надо либо использовать Ext4 либо указывать размер тестового файла в 5-6 раз больше объема ОЗУ и заполнять его рандомными данными (не нулями).
Ой, спасибо за ответы, прям душа радуется.
Блин, и у этих людей язык поворачивается держать apache 2.4.25 в статусе Stable.
Обновляешь его на 2.4.37 - слетает libcurl3, а за ним php5.6-curl, а параллельно ещё немного добра.
Временно переключился на mpm_worker - может там оно постабильнее будет.
давайте я бесплатно своей аналитикой гляну и скажу что там чего и почему.
Спасибо за предложение. Сейчас пока тайм-аут, а если еще придут - я сразу к вам.
о каком объеме суточного трафика вообще речь идет?
Ну сейчас уже несколько тысяч пользователей в день. Где-то 10-15 тысяч хитов.
Начинали с миллиона
Я пока что все больше начинаю подозревать, что вот эти боты - по факту какой-то префетчинг браузеров, который исполняет JS и поэтому засчитывается в людей, потому что их пропускает не только Antibot, но и Recaptcha v3 и Cloudflare.
Я дорабатывал Antibot на установку гуглевской рекапчи, но толку это не дало. Третья рекапча их считает людьми, а подсовывать им автобусы со светофорами второй рекапчи рука не поднялась, т.к. при её установке ещё сильнее растут отказы среди живых людей, которых метрика таковыми и считает.
В общем, пока что на основании всего этого пришёл к выводу, что аккуратный бан хостеров + антибот + настройки метрики на отсев всех роботов - это самый простой и эффективный способ борьбы с роботами.
Следующим шагом можно манипулировать с выводом метрики и аналитики, подсовывая их только тем, кого вы за людей держите, но опять же на ум кроме черных списков IP и геолокации никаких других правил по отсеву людей от ботов не приходит.
Ну а со стороны фронта можно пробовать подсовывать куку когда у юзера активно окно. Но опять же, я уверен, что в рекапче что-то подобное реализовано.
По первому пункту способов у Я. несколько: Метрика, liveinternet(писали о сливе данных в Я), Я.броузер (10% всех броузеров) и реклама РСЯ. Теоретически убрать можно все.
По второму, сайт в России, можно скриптом Оптимизайки забанить основные буржуйские AS, откуда боты идут через прокси. Заходы из ботнета не ограничить.
89.151.179.198 - Чебоксары, Ростелеком
176.109.35.117 - Московская область, Кварц
46.164.228.39 - Информсвязь, Воронеж.
Ну как бы и дальше можно скинуть, тыщи две за сегодня наберется.
Белые провайдеры, IP с разной репутацией.
Скрипт Antibot их пропустил
А нафига хацкерам самим то заходить? В ботнете сделали задание машинам, они все сами делают. Снятие метрик вопрос не особо решаем, в том же задании для ботов можно указать после захода с ПС через секунду-2-3 вернуться в серп.
Я у этих хацкеров не видел яндексовских куков, поэтому сомневаюсь, что они прямо берут и из яндекса приходят, скорее всего реф. подсовывают.
Тут нужно думать глубже, вероятно боты с троянских ботнетов, т.е. вредоносное ПО установлено у реальных юзеров, а заходы происходят у них в фоновом режиме.
А чего тут думать? Скорее всего, на зараженных компах стоят прокси, через которые ходят хацкеры.
Проще всего - снять к такой-то матери метрику и пусть ходят себе строем.
Чисто по сайту - убедиться что он не показывается во фреймах, что в метрике настроена "только этот сайт, 100% точность, учитывать роботов по точным правилам и поведению".
Дальше варианты - жителям Москвы показывать метрику, жителям Парижа - не показывать. Если сайт Московский, то можно и все кроме России закрыть или перекидывать на англоязычную версию без метрики. Вообще море топовых сайтов гугля закрыты для России, а куча российских - для остального мира. Сегодня это везде, и висят они на первых страницах выдачи, и уходить не собираются.
Я вот скажу по своему опыту - московских ip-адресов среди этих гадов пока что минимум: в основном черноземье, Украина и Молдова.