alexeyymanikin

Рейтинг
151
Регистрация
20.09.2008

Коллеги на хабре появился интересный комментарий

> проверять все DNS доменов на наличие в них наименования провайдера

Это несколько неправильно. Например, у нас есть домены с нс серверами в старом домене knutov.net и в новом после ребрендинга много лет назад dobrohost.ru. И есть еще два домена с нс серверами, относящимися к нашим вдс, совсем в других доменах. С 1stat можно было отправить список нс серверов и потом всё группировалось правильно.

(был бы проект на перле — я бы дописал нужную функциональность, но увы).

и мой ответ

За списком NS серверов нужно следить — это большая проблема. Опять же Вы правильно сказали — домены на других серверах есть не только у Вас, актуализировать информацию для ТОП 20 будет не очень сложно (далее сложнее), но это в любом случае ручная работа. Постоянно придется обновлять. В данном случае более корректно смотреть по количеству доменов на AS.

В текущей версии сайта — это вывод агрегированных данных из БД. Если есть желание, в понедельник могу набросать интерфейс для сопоставления NS, MX, сетей, AS c провайдером и предоставить его Вам =)

Если есть желание давайте заполним WIKI https://github.com/AlexeyManikin/domain_statistic/wiki/%D0%A1%D0%BF%D0%B8%D1%81%D0%BE%D0%BA-%D0%BF%D1%80%D0%BE%D0%B2%D0%B0%D0%B9%D0%B4%D0%B5%D1%80%D0%BE%D0%B2 и далее я перенесу информацию в базу

Вся прелесть открытого кода - можно посмотреть

https://github.com/AlexeyManikin/domain_statistic/blob/master/classes/statistic.py

Если речь идет о AS

sql = """SELECT asn%s as as_number, count(*) as count FROM domain_history
WHERE delegated = 'Y' AND tld = '%s' AND date_start <= '%s' AND date_end >= '%s'
GROUP BY asn%s
HAVING count(*) > 50
ORDER BY count(*) desc""" % (i, zone, date, date, i)

на AS должно быть 50 доменов.

Для остальных агрегирующих таблиц аналогично, от 50 доменов. Можно и с 10 доменами пересчитать - все данные есть.

У маленьких хостингов нет своих сетей, они берут в аренду IP адреса у тех же дата-центров. У более или менее нормальных - почти всегда есть своя AS и даже если они анонсируют свою AS через сеть ДЦ - в итоге это все равно их адреса и они отображаются в статистике.

Без своей AS невозможно управлять связанностью, балансировать мощные DDOS, оптимизировать маршруты, создавать CDN, решать проблемы плохих маршрутов. Я уже не говорю о банальном переезде в другой ДЦ. Мое мнение у нормального хостинга должна быть своя AS - и если посмотреть любую статистику у всех крупных хостингов есть своя AS. Это один из компонентов качества услуги. Хостинг это комплексное решение, а не аренда сервера в ДЦ и продажа его кусочков.

По поводу статистики statonline.ru они берут значения из базы регистраторов + как то пытаются учитывать посещаемость. Алгоритм для меня не понятный, хотя я общался с человеком создавшим этот сервис.

Достаточно сравнить http://statonline.ru/dns?order=DESC&rows_per_page=50&sort_field=domains_count&tld=ru&search= - данные по количеству доменов на NS серверах и данные на статистике хостингов http://statonline.ru/metrics/hosting?tld=ru.

С данными по NS явная корреляция, разница в разделегированных доменах.

В 1stat можно было в общую базу плюсовать хостеров с разными ДНС. Вам тоже такую штуку реализовать нужно.

Web морда в процессе, можно много интересного в ней сделать. Если есть идеи пишите - добавить не сложно.

Супер. Особенно радует скорость работы.

Это сарказм или нет ? =)

Накидали статистику по количеству доменов на AS, по количеству доменов на NS серверам, так же есть статистика по MX, IP адресам времени отклику, но ее пока не добавили в интерфейс. Кому интересно можно посмотреть (http://firststat.ru), статистика не показывает кто плохой, кто хороший - зато показывает у кого клиенты прибавляется, а у кого убывают.

Исходники в OpenSource

Всем доброго дня.

даже сайт самого хостера лёг - должно же быть и резервные сервера и резервное питание...

конечно все резервируется, только в данном случае все NS сервера были на одной версии ПО. А так NS сервера в разных ДЦ (Селектел Миран + БМ18 если это можно назвать ДЦ), сети анонсируются разным провайдерам, есть резервные сервера.

Далее официальная рассылка:

20 апреля в 20.15 на наши NS сервера пошел аномальный трафик, который привел к выводу из строя всего кластера NS серверов. Эта не была атака на канальные емкости, эта была атака, эксплуатирующая уязвимость в используемом нами ПО. В 20.50 мы обновили на всем кластере NS серверов ПО, что привело к восстановлению работоспособности. Работа всех сайтов была полностью восстановлено в 20.55.

В данный момент мы анализируем полученные данные, а также какие именно запросы (трафик) привели к таким последствиям.

Приносим свои искренние извинения за доставленные неудобства

SeVlad:
Аlexeyymanikin, может вы сделаете некий демо-доступ, что б народ увидел панель (без акка на вашем хостинге).

Да конечно сделали https://demo.sprut.io:9443

Написали статью на хабр про внутренний реализацию https://habrahabr.ru/company/beget/blog/277449/. Так же приглашаем всех к его разработки.

Там кстати есть интересный отзыв:

"Как только они у вас грохнут аккаунт с 4-мя сайтами ,тогда узнаете,что это за лучший хостинг. Я тоже так думал."

Вот все хочу уточнить, аккаунт заблокирован в конце августа за неуплату, а удален в январе =)

s314:
А как организована доставка файла в браузер клиенту (функция "скачать файл") в случае обычного хостинга? Ведь ФМ стоит не на каждом сервере. Про закачку файла тоже интересно было бы подробностей.

В случае обычного хостинга - самый простой вариант: при авторизации подключать FTP на home dir пользователя. Фактически установив в одном месте Sprutio он может работать со множеством серверов. У нас написан свой транспорт для этой цели, на все сервера разнесен агент для работы с локальной файловой системой и при авторизации определяется с каким сервером будет работать файловый менеджер.

Я надеюсь ответил на Ваш вопрос или я его неправильно понял ?

SeVlad:


Нда, жаль, что так. После обещаний я надеялся, что будет нормальное автономное решение.
Но раз опенсорц - будем надеяться, что кто-то запилит по человечески. ФМ реально хорош.


Вот этого бы да, хотелось ;)

От части он автономный, но к сожалению многие вещи которые мы в нем сделали крайне сложно реализовать в рамках PHP - там используется RPC, Redis, Nginx, асинхронные вызовы - да и написано он на Python так как он лучше подходит для системных вещей. Изначально мы делали его под себя и не ограничивались выбором инструментов. Как следствие его не получится поставить на виртуальный хостинг. Зато он легко ставиться на выделенные сервера и нормальные VPS которые поддерживают Docker.

---------- Добавлено 11.01.2016 в 16:13 ----------

Через настройки оформление чет не меняется

Новые темы можно достаточно просто реализовать и если Вы подключитесь к разработке будет хорошо.

либо сперва надо вместе со своими программистами тщательно изучать код

Это было бы здорово, несмотря на достаточно долгое тестирование на нашем хостинге - полагаю там есть баги и недочеты. В вопросах безопасности можно подстраховаться монтирую в докер только нужные директории, даже если взломают ФМ за пределы LC так просто не вылезут.

В дальнейшем мы планируем его развивать, не только и не столько своими силами, опубликуем на сайте список TODO и стоимость реализации - разработчики начнут разбираться в коде и делать полезные улучшения и за них получать вознаграждение. Но опять же это не сейчас, а чуть позже. До всего сразу руки не доходят.

Всего: 145