Открытая статистка по доменам .ru .su .рф

12
A
На сайте с 20.09.2008
Offline
131
3084

Добрый день, коллеги.

Я наверное скопирую первый абзац статьи

Давным-давно перестал работать 1stat.ru — откровенно говоря, для нас это была трагедия (сейчас вроде он как-то работает).

Рабочий день обычно начинался с чашечки кофе и приятного просмотра значений прироста доменов. Конечно же, такие метрики не показывают ни успешность компании, ни ее капитализацию, ни тип клиентов, которые размещаются у компании. Но, несмотря на это, косвенно можно оценить динамику роста или деградации компании — если количество доменов на NS серверах растет, а не падает — это хорошо. Как показала практика, это, так или иначе, отражает положение дел на рынке.

И дальше рассказывается про проект firststat.ru

Он с открытым исходным кодом - все данные собирается честно, можно запустить его у себя и проверить =)

Открыл доступ к БД - можно сделать выборки посмотреть

Сервер: manikin.beget.ru

Порт: 3310

Пользователь: amanikin_stat

Пароль: openstatistic

База: domain_statistic

Если кто не умеет пользоваться консолью, установил PhpMyAdmin: http://pma.amanikin.ru

Сайт — http://firststat.ru

Репозиторий — https://github.com/AlexeyManikin/domain_statistic

---------- Добавлено 27.05.2016 в 17:05 ----------

Забыл статью скинуть https://habrahabr.ru/post/301894/

-- С Уважением Алексей Маникин.
DT
На сайте с 28.11.2006
Offline
298
#1

В 1stat можно было в общую базу плюсовать хостеров с разными ДНС. Вам тоже такую штуку реализовать нужно.

Дешевый CloudLinux хостинг (http://www.provisov.net) много площадок в России, Франции, Украине, Германии, Нидерландах, США, Канаде. SSL-сертификат (https://www.provisov.net/blog/2016/10/26/besplatnyj-ssl-sertifikat-dlya-vsex-vashix-sajtov/) бесплатный и предустановленный для всех доменов
Z
На сайте с 12.01.2005
Offline
139
#2

Супер. Особенно радует скорость работы.

Алексей Чекушкин http://firstvds.ru (http://firstvds.ru) - http://firstdedic.ru (http://firstdedic.ru) - http://firstssl.ru (http://firstssl.ru)
A
На сайте с 20.09.2008
Offline
131
#3
В 1stat можно было в общую базу плюсовать хостеров с разными ДНС. Вам тоже такую штуку реализовать нужно.

Web морда в процессе, можно много интересного в ней сделать. Если есть идеи пишите - добавить не сложно.

Супер. Особенно радует скорость работы.

Это сарказм или нет ? =)

globalmoney
На сайте с 09.12.2005
Offline
399
#4

alexeyymanikin, определять хостера по AS не совсем корректно, т.к. у некоторых нет своих подсетей, другие анонсируют свои сети через AS ЦОД, в итоге получаем не корректную статистику!

Сейчас это больше статистика по ЦОД, а не по хостерам!!!

При сортировке статистики по DNS серверам, статистика очень сильно отличается от действительности и например от того, что выдаёт http://statonline.ru/

MGNHost.ru - полный комплекс хостинг услуг ( https://www.mgnhost.ru ) VPS/VDS на SSD дисках в России / Нидерландах / США от 250 рублей ( https://www.mgnhost.ru/vds.php )
A
На сайте с 20.09.2008
Offline
131
#5

У маленьких хостингов нет своих сетей, они берут в аренду IP адреса у тех же дата-центров. У более или менее нормальных - почти всегда есть своя AS и даже если они анонсируют свою AS через сеть ДЦ - в итоге это все равно их адреса и они отображаются в статистике.

Без своей AS невозможно управлять связанностью, балансировать мощные DDOS, оптимизировать маршруты, создавать CDN, решать проблемы плохих маршрутов. Я уже не говорю о банальном переезде в другой ДЦ. Мое мнение у нормального хостинга должна быть своя AS - и если посмотреть любую статистику у всех крупных хостингов есть своя AS. Это один из компонентов качества услуги. Хостинг это комплексное решение, а не аренда сервера в ДЦ и продажа его кусочков.

По поводу статистики statonline.ru они берут значения из базы регистраторов + как то пытаются учитывать посещаемость. Алгоритм для меня не понятный, хотя я общался с человеком создавшим этот сервис.

Достаточно сравнить http://statonline.ru/dns?order=DESC&rows_per_page=50&sort_field=domains_count&tld=ru&search= - данные по количеству доменов на NS серверах и данные на статистике хостингов http://statonline.ru/metrics/hosting?tld=ru.

С данными по NS явная корреляция, разница в разделегированных доменах.

Z
На сайте с 12.01.2005
Offline
139
#6
alexeyymanikin:
Это сарказм или нет ? =)

Не кокетничайте. Действительно шустро работает. 1stat чтобы хоть что-нибудь показать так надолго задумывался (и часто так не до чего не додумывался).

MK
На сайте с 05.09.2008
Offline
520
#7
Zaicev:
Действительно шустро работает.

Даже визуально, разное количество данных... Вот из-за этого и шустрою

Zaicev:
1stat чтобы хоть что-нибудь показать так надолго задумывался (и часто так не до чего не додумывался).

Ща зашел посмотрел, 1stat работает очень даже не медленно...

*.ru-tld.ru: .RU и .РФ 149р от 25 доменов (https://ru-tld.ru/domain-registration/) / Отличный перехват доменов в зонах .RU/.РФ (https://BackOrder.ru) ISP Manager 4/5 Lite всего 2 евро в месяц (http://ru-tld.ru/soft-ispsystem/) *.ru-tld.ru - Нужен RU-CENTER дешево? Тогда идите к нам! (/ru/forum/929904)
F
На сайте с 14.12.2010
Offline
128
#8

Поиск по AS прикольная штука, нашел меня :D

Раньше тоже за 1stat следил, но днс это действительно не самая актуальная статистика, многие клиенты пользуются своими днс, а вот по AS интересно.

А какое ограничение стоит по количеству сайтов что бы адрес попал в статистику? я так смотрю у меня вылезли сервера 100+ доменов

https://telegram.me/firstishe (https://telegram.me/firstishe) Аренда и размещение бюджетных серверов в Саратове для Android c GPU, ZennoDroid. Core i7 7700 / 16DDR4 / 2x1000 = от 3000руб!
A
На сайте с 20.09.2008
Offline
131
#9

Вся прелесть открытого кода - можно посмотреть

https://github.com/AlexeyManikin/domain_statistic/blob/master/classes/statistic.py

Если речь идет о AS

sql = """SELECT asn%s as as_number, count(*) as count FROM domain_history
WHERE delegated = 'Y' AND tld = '%s' AND date_start <= '%s' AND date_end >= '%s'
GROUP BY asn%s
HAVING count(*) > 50
ORDER BY count(*) desc""" % (i, zone, date, date, i)

на AS должно быть 50 доменов.

Для остальных агрегирующих таблиц аналогично, от 50 доменов. Можно и с 10 доменами пересчитать - все данные есть.

A
На сайте с 20.09.2008
Offline
131
#10

Коллеги на хабре появился интересный комментарий

> проверять все DNS доменов на наличие в них наименования провайдера

Это несколько неправильно. Например, у нас есть домены с нс серверами в старом домене knutov.net и в новом после ребрендинга много лет назад dobrohost.ru. И есть еще два домена с нс серверами, относящимися к нашим вдс, совсем в других доменах. С 1stat можно было отправить список нс серверов и потом всё группировалось правильно.

(был бы проект на перле — я бы дописал нужную функциональность, но увы).

и мой ответ

За списком NS серверов нужно следить — это большая проблема. Опять же Вы правильно сказали — домены на других серверах есть не только у Вас, актуализировать информацию для ТОП 20 будет не очень сложно (далее сложнее), но это в любом случае ручная работа. Постоянно придется обновлять. В данном случае более корректно смотреть по количеству доменов на AS.

В текущей версии сайта — это вывод агрегированных данных из БД. Если есть желание, в понедельник могу набросать интерфейс для сопоставления NS, MX, сетей, AS c провайдером и предоставить его Вам =)

Если есть желание давайте заполним WIKI https://github.com/AlexeyManikin/domain_statistic/wiki/%D0%A1%D0%BF%D0%B8%D1%81%D0%BE%D0%BA-%D0%BF%D1%80%D0%BE%D0%B2%D0%B0%D0%B9%D0%B4%D0%B5%D1%80%D0%BE%D0%B2 и далее я перенесу информацию в базу

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий