mrmvd

Рейтинг
102
Регистрация
04.08.2011
slizh:
Нас Vmware вообще не интересует. Мы чисто решили для сравнения протестировать. Мы хотим, чтобы KVM работал нормально, а не резал скорость хотя бы чтения.
С iOPS у нас все в порядке. Именно обычная команда dd на чтение сильно проседает на VPS и мы не можем понять причину.

dd на запись:
dd if=/dev/zero of=test bs=64k count=16k conv=fdatasync oflag=direct

dd на чтение:
dd if=test of=/dev/null bs=1M count=1024 iflag=direct

У вас на Proxmox стоит ZFS?

slizh:
Скорость показывает постоянно одинаковую. И судя по тому, что при смене рейд ничего не меняется, то дело явно в типе виртуализации и метода хранения данных. Может в LVM есть какие-то ограничения, чтобы 1 VPS не накрыла всю ноду?

Причём здесь LVM?

Ограничения обычно ставятся на IOPS-ы, а не на пропускную способность. Плюс сам драйвер имеет свой потолок, но он как правило сильно выше 1 Гб/с.

У вас везде Thick provision eargy zeroed? Везде VM-Tools установлены?

Какую скорость вы хотите поднять - чтение или запись?

Я спрашиваю вас потому, что у вас слишком большие различия в скорости между гипервизором и виртуалкой, там должно быть процентов 10.

Тестировать мегабайты в секунду на 3D TLC дисках - пустое занятие. Там в один день прилетит 3 Гб/с а в другой день - 1 Мегабайт в секунду. У вас может быть что угодно - процесс сбора мусора, заполненность дисков данными, работа контроллера и т.д. Это для гипервизора.

На виртуалке я бы посмотрел на размер сектора при условии, что драйвер virtio.

Но вообще лучше отталкиваться от iops-ов

И ещё одно - у вас на Proxmox скорее всего используется ZFS, которая активно кэширует все данные в память. Чтобы проводить тесты надо либо использовать Ext4 либо указывать размер тестового файла в 5-6 раз больше объема ОЗУ и заполнять его рандомными данными (не нулями).

Ой, спасибо за ответы, прям душа радуется.

Блин, и у этих людей язык поворачивается держать apache 2.4.25 в статусе Stable.

Обновляешь его на 2.4.37 - слетает libcurl3, а за ним php5.6-curl, а параллельно ещё немного добра.

Временно переключился на mpm_worker - может там оно постабильнее будет.

Bot Inspector:
давайте я бесплатно своей аналитикой гляну и скажу что там чего и почему.

Спасибо за предложение. Сейчас пока тайм-аут, а если еще придут - я сразу к вам.

Bot Inspector:
о каком объеме суточного трафика вообще речь идет?

Ну сейчас уже несколько тысяч пользователей в день. Где-то 10-15 тысяч хитов.

Начинали с миллиона

Я пока что все больше начинаю подозревать, что вот эти боты - по факту какой-то префетчинг браузеров, который исполняет JS и поэтому засчитывается в людей, потому что их пропускает не только Antibot, но и Recaptcha v3 и Cloudflare.

Я дорабатывал Antibot на установку гуглевской рекапчи, но толку это не дало. Третья рекапча их считает людьми, а подсовывать им автобусы со светофорами второй рекапчи рука не поднялась, т.к. при её установке ещё сильнее растут отказы среди живых людей, которых метрика таковыми и считает.

В общем, пока что на основании всего этого пришёл к выводу, что аккуратный бан хостеров + антибот + настройки метрики на отсев всех роботов - это самый простой и эффективный способ борьбы с роботами.

Следующим шагом можно манипулировать с выводом метрики и аналитики, подсовывая их только тем, кого вы за людей держите, но опять же на ум кроме черных списков IP и геолокации никаких других правил по отсеву людей от ботов не приходит.

Ну а со стороны фронта можно пробовать подсовывать куку когда у юзера активно окно. Но опять же, я уверен, что в рекапче что-то подобное реализовано.

vga1:
По первому пункту способов у Я. несколько: Метрика, liveinternet(писали о сливе данных в Я), Я.броузер (10% всех броузеров) и реклама РСЯ. Теоретически убрать можно все.

По второму, сайт в России, можно скриптом Оптимизайки забанить основные буржуйские AS, откуда боты идут через прокси. Заходы из ботнета не ограничить.

89.151.179.198 - Чебоксары, Ростелеком

176.109.35.117 - Московская область, Кварц

46.164.228.39 - Информсвязь, Воронеж.

Ну как бы и дальше можно скинуть, тыщи две за сегодня наберется.

Белые провайдеры, IP с разной репутацией.

Скрипт Antibot их пропустил

mr888:
А нафига хацкерам самим то заходить? В ботнете сделали задание машинам, они все сами делают. Снятие метрик вопрос не особо решаем, в том же задании для ботов можно указать после захода с ПС через секунду-2-3 вернуться в серп.

Я у этих хацкеров не видел яндексовских куков, поэтому сомневаюсь, что они прямо берут и из яндекса приходят, скорее всего реф. подсовывают.

mr888:
Тут нужно думать глубже, вероятно боты с троянских ботнетов, т.е. вредоносное ПО установлено у реальных юзеров, а заходы происходят у них в фоновом режиме.

А чего тут думать? Скорее всего, на зараженных компах стоят прокси, через которые ходят хацкеры.

Проще всего - снять к такой-то матери метрику и пусть ходят себе строем.

Чисто по сайту - убедиться что он не показывается во фреймах, что в метрике настроена "только этот сайт, 100% точность, учитывать роботов по точным правилам и поведению".

Дальше варианты - жителям Москвы показывать метрику, жителям Парижа - не показывать. Если сайт Московский, то можно и все кроме России закрыть или перекидывать на англоязычную версию без метрики. Вообще море топовых сайтов гугля закрыты для России, а куча российских - для остального мира. Сегодня это везде, и висят они на первых страницах выдачи, и уходить не собираются.

Я вот скажу по своему опыту - московских ip-адресов среди этих гадов пока что минимум: в основном черноземье, Украина и Молдова.

Всего: 78