Снимаем показатели с морд Alexa Top 1M

daocrawler
На сайте с 24.08.2016
Offline
1
1113

Всем привет.

Хочу всем форумчанам предложить снять интересующие их показатели со списка Alexa Top 1M.

Мы ежеденвно сканим этот список и можем добавить что-то, что вы хотите отследить в исследовательских целях. Интересной информации, как вы понимаете, там много.

Примеры: сравнить количество систем веб-аналитики установленных на разных сайтах, узнать сколько порно в интернете, сравнить количественно сайты, использующие shema/opengraph, отследить распространение какого-нибудь сервиса, что угодно.

Весь форум на борт взять не получится, но вы можете в топике обсуждать наиболее интересные для сообщества штуки и мы их воткнем в скан, а на выходе дадим количество доменов, на которых было найдено то, что вас интересует, или даже список этих доменов в формате domain:alexa_rank, можем визуализировать, как например https://statoperator.com/research/responsive-web-viewport-meta-tag-usage/

В общем такой research топик для веб-мастеров. Есть некий эталон Alexa Top 1M в рамках которого можно взвесить чего там, сколько, где и с каким рейтингом. Естественно бесплатно. Единственная просьба: честно указать ссылку на https://statoperator.com если будете где-то публиковать данные.

От вас достаточно дать регулярку

O3
На сайте с 17.11.2008
Offline
127
#1

А откуда берете топ 1кк?

Вижу только топ 500 http://www.alexa.com/topsites/global;19

mazya
На сайте с 03.04.2007
Offline
96
#2
S1
На сайте с 15.09.2016
Offline
9
#3

Если не секрет, чем парсите? Сколько времени занимает?

SEO анализ сайта (https://seo11.ru/)
daocrawler
На сайте с 24.08.2016
Offline
1
#4
seo11:
Если не секрет, чем парсите? Сколько времени занимает?

Одна нода нашего краулера за час обходит и обрабатывает ~1M урлов, но там еще достаточно много дополнительной вычислительной работы, не относящейся к ретириву информации, так что спеки по железу вам вряд ли что-то скажут, но если интересно - 64 CPU 128 Гб RAM на ноду. Здесь можно найти некоторый срез по стате http://data.statoperator.com/about/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий