Уважаемый topmedia, я уже понял что вам наша статистика по хостерам за фев 2013 года не понравилась :)
Как я упоминал ранее, здесь в Англии и в других странах европы - в основном корректно заполняют whois записи регистраторов (RIPE/ARIN/etc.). Согласен что любая статистика не идеальна. Но общий результат/направление распределения/выборка сайтов по хостерам верно.
Наших клиентов данная статистика устраивает.
В статистике очень много хостинг компаний, не нравиться статистика по 'Cloudflare' - просто игнорируйте данный пункт из всей статистики. Там есть еще статистика по другим хостерам :)
Нефиг таком человеку который под что-то маскируется на сайте делать, как пользователь сайта - он бесполезен
Некоторые компании загружают каждый день список с сайта и только ip из списка за последний день
или загружают только ip на кот. находятся сайты http://www.myip.ms/browse/blacklist/1/cntSites/1/from_1_Blacklist_IP_Addresses.html
Тому кому нужна информация с наших сайтов, регистрируется. Регистрация бесплатно.
Не видим смысла в полезности ботов (кроме поисковых систем), SEO ботов и т.д.
Мы имеем ip адреса реальных поисковых ботов и если кто-либо использует поддельную строку известного бота (например Google) + начинает сканировать сайт, после сканирования 100 страниц на нашем сайте - мы добавляем этот ip в раздел "Fake Google Bot"
Каждая компания решает использовать в Firewall весь список или часть.
Например -
1) за последний день только (в списке тогда будут только реальные текущие боты и пользователи пользующиеся сканирующими программами сегодня)
http://ru.myip.ms/browse/blacklist/1/txt/.com/
2) Web hosting сервера только (нет adsl пользователей) -
и т.д.
Мы не редактируем данные полученные от Live Whois серверов -
В этих данных за 2013 году указано что многие ip ranges принадлежат Tumblr.
--
http://whois.arin.net/rest/net/NET-66-6-32-0-1
66.6.32.0 - 66.6.47.255
OrgName: TUMBLR, INC
OrgId: TUMBL-1
Address: 35 East 21st St
Address: 9W
City: New York
StateProv: NY
PostalCode: 10010
Country: US
RegDate: 2011-02-04
Updated: 2013-01-17
Comment: http://www.tumblr.com
Полная инфо - http://myip.ms/view/web_hosting/21037/Tumblr_INC.html
Поэтому наша статистика и есть не зависимая - данные обрабатываются от глобальных whois серверов 'as is' без редактирования и подстановки.
Повторюсь еще раз - мы оперируем только ОФИЦИАЛЬНЫМИ данными с whois серверов (ARIN/RIPE/APNIC/AFRINIC/KRNIC/JPNIC/etc.) за 2013 год. Если хостинг компания что то мутит с ее регистрационными данными в этих системах или не регистрирует свои ip ranges правильно, то это только вызывает сочувствие ....
------
Также АНОНС -
Мы создали Черный список IP адресов - ботов, 25,000 ip адресов (обновляется каждый день). Он включает непознаваемые боты, маскирующиеся под пользователей, а также - Majestic12 bots, Proximic bots, 80legs bots, Ahrefs bots, etc.
Наши сайты посещают каждый день десятки тысяч посетителей, многие из них идентифицируемы, но также приходят различные непознаваемые боты, поисковые агенты, спам боты и роботы на наши сайты. То есть у нас есть десятки тысяч IP-адресов каждый день, которые мы анализируем каждый день. Наша уникальная система защиты позволяет легко идентифицировать реальных посетителей ip адреса и ip адреса ботов, поисковых агентов, спам ботов, а также другие угрозы, включая неизвестных спам ботов, маскирующихся непосредственно под нормальных пользователей.
На данный момет данный список в автоматическом режиме скачивают около 500 компаний/хостеров. Топ стран по скачиванию - США/Германия/Израиль.
Полная новость здесь - /ru/forum/774285
Online доступ - http://ru.myip.ms/browse/blacklist/
CDN серверов меньше 1% от общего числа
Также мы стараемся удалять парковки доменов по мере определения их
Конечно есть погрешность, но не большая.
1) в основном компании поставляют достоверную информацию в RIPE/ARIN/etc
2) Мы определяем до 3 уровней кому принадлежит IP
Например возьмем ip - 216.172.181.95
Полная инфо http://myip.ms/216.172.181.95
a) 216.172.181.95 - 216.172.181.95 - компании Aakashtheim.com
b) 216.172.160.0 - 216.172.191.255 - компании Hostgator.com Llc
Следовательно мы учитываем хостинг Hostgator.com и без разницы если компания Aakashtheim.com зарегистрирована на сейшельских островах :) Статистика получается все равно верная так как
Hostgator.com Llc дал правильные данные
Смотря какую статистику надо. Можно зарегистрировать 10.000 доменов на кот. никто не заходит, разместить их у хостинг компании 'A' и говорить что хостинг компания 'A' крутая так как хостит много сайтов. Но на самом деле - это ничего.
Вот интересная статистика сколько сайтов на одном ip в интернете сейчас (из первых 3 миллионов наиболее популярных доменов) -
http://myip.ms/browse/comp_ip/1/sort/6
ip 173.194.34.10 - 44,485 сайтов
ip 176.74.176.167 - 30,924 сайтов
ip 66.155.9.238 - 20,323 сайтов
