MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики - Страница 10 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Старый 06.06.2015, 00:13   #91
Коля Дубр
Академик
 
Аватар для Коля Дубр
 
Регистрация: 02.03.2005
Адрес: Москва | NetCat.ru
Сообщений: 1,481
Репутация: 234616
Отправить сообщение для Коля Дубр с помощью ICQ Отправить сообщение для Коля Дубр с помощью Skype™
Социальные сети Посмотреть профиль пользователя в МоемКруге Дневник на Я.ру Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Цитата:
более 3.2 млрд ключевых слов, 650 Гб информации
Меня как-то пугают эти цифры. Объясните пожалуйста, где я не прав. Вот смотрите:

1. 650 Гб = 697932185600 байт
2. 697932185600/3000000000 = 232,644061867

То есть на 1 запрос у вас получается ~233 байта. Даже если хранить в плейн-тексте, это как-то очень дофига. Например вот тут вы показывали выгрузку в CSV, там 66208 строк при весе файла 4351 Кб (то есть 67.2 байта на запрос). А придумать какой-то более жручий формат, чем CSV, как-то сходу и не получается (XML если только ).

По моим прикидкам должно выходить примерно так:
- индекс по словам - ну пусть 10 млн. слов по 10 знаков в среднем ~ 100 Мб
- номер слова умещается в MEDIUMINT, 3 байта
- пусть в среднем запросе 10 слов, длинных хвост все-таки - 30 байт на сам запрос
- ну ок, по 3 байта на каждую доп. колонку - выходит 48 байт на строку
- перемножить на 3.2 млрд - будет 143,05 Гб
- ну пусть еще столько же на всевозможные индексы...

Короче, больше 300 Гб не выходит, и то я все по-максимуму брал.

Что же там набито? Или я где-то нолик пропускаю? )
__________________
Разрабатываю общую шину помаленьку.
...а еще у меня есть бложек.
Коля Дубр вне форума   Ответить с цитированием

Реклама
Старый 06.06.2015, 12:07   #92
MOAB
Дипломник
 
Регистрация: 20.12.2014
Сообщений: 87
Репутация: 20516

ТопикСтартер Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Здравствуйте!

Не пугайтесь, пожалуйста ) Вы пропускаете не нолик, а большое количество дополнительной информации, которая идет вместе с ключевыми фразами - визиты, просмотры, отказы и остальные поля из Метрики, а также другую сервисную информацию, такую как дата парсинга, период и т.д. Я вам даже больше скажу - база будет увеличиваться еще с добавлением дополнительной информации - например, мы уже проверяем частоту по Вордстату всех фраз в нашей базе, скоро внедрим инверсный индекс (когда можно будет искать со звездочкой в начале слова, а не только в конце, как сейчас).

К сожалению, таковы реалии сегодняшних BigData-проектов - для большого количества данных требуются большие размеры носителей. Но я поспешу Вас успокоить - терабайтный жесткий диск стоит около 4000 рублей, что для бизнеса, который может себе позволить базу MOAB, не является существенными деньгами. Кроме того, все наши покупатели получают бесплатный доступ на сервер с уже развернутой базой, что избавляет их от необходимости разворачивать базу локально.

Надеюсь, исчерпывающе ответили на Ваш вопрос. Если будут еще вопросы - задавайте, с радостью ответим.
MOAB вне форума   Ответить с цитированием
Старый 06.06.2015, 16:38   #93
Коля Дубр
Академик
 
Аватар для Коля Дубр
 
Регистрация: 02.03.2005
Адрес: Москва | NetCat.ru
Сообщений: 1,481
Репутация: 234616
Отправить сообщение для Коля Дубр с помощью ICQ Отправить сообщение для Коля Дубр с помощью Skype™
Социальные сети Посмотреть профиль пользователя в МоемКруге Дневник на Я.ру Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Цитата:
Сообщение от MOAB Посмотреть сообщение
Вы пропускаете не нолик, а большое количество дополнительной информации, которая идет вместе с ключевыми фразами - визиты, просмотры, отказы и остальные поля из Метрики
Почему же? Я их посчитал, причем с запасом:

Цитата:
Сообщение от Коля Дубр Посмотреть сообщение
- ну ок, по 3 байта на каждую доп. колонку
Хотя на глубину просмотра и процент отказов хватит 2 байт на самом деле, а на номер поисковика хватит и одного.

Цитата:
Сообщение от MOAB Посмотреть сообщение
а также другую сервисную информацию, такую как дата парсинга, период и т.д.
Что такое "дата парсинга"? Первое попадание запроса в базу?

Цитата:
Сообщение от MOAB Посмотреть сообщение
Надеюсь, исчерпывающе ответили на Ваш вопрос.
Вообще-то нет =) Меня пугает не то, что места на диске не хватит, а расхождение в цифрах, причем приличное.
Коля Дубр вне форума   Ответить с цитированием
Старый 07.06.2015, 19:29   #94
MOAB
Дипломник
 
Регистрация: 20.12.2014
Сообщений: 87
Репутация: 20516

ТопикСтартер Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Здравствуйте!

К сожалению, из соображений безопасности мы не можем раскрывать всех тонкостей нашей системы хранения данных. Дискутировать о её нюансах у нас тоже, к сожалению, времени нет. Ценность в случае базы MOAB представляет не то, как данные организованы или хранятся, а сами по себе данные, которые уже помогают зарабатывать реальные деньги нашим пользователям.

Будут еще вопросы по существу - рады будем ответить.
MOAB вне форума   Ответить с цитированием
Старый 08.06.2015, 14:19   #95
R_Tem
Вокруг одни ГС!
 
Аватар для R_Tem
 
Регистрация: 21.08.2008
Адрес: Moscow
Сообщений: 512
Репутация: 42811

По умолчанию Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Покупал базу для группы сайтов бухгалтерской и правовой тематики.
Особенно понравилась хорошо работающая удаленная версия.
Обрадовали выгрузки фраз конкурентов по 3 млн фраз!
Очень доволен и рекомендую!
__________________
Artem Parasochka.
R_Tem вне форума   Ответить с цитированием
Старый 08.06.2015, 14:27   #96
Jorik85
Абитуриент
 
Регистрация: 05.10.2010
Адрес: Дзержинск
Сообщений: 1
Репутация: 10

По умолчанию Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Брал базу еще зимой, когда не было еще он-лайн доступа, было не очень удобно, но деваться некуда. С тех пор использовал для собственных проектов коммерческой тематики, в основном промышленного направления.
Результат себя оправдал, база дает больше ключевых слов, чем любой другой источник, более того, по этим ключам идет вполне платежеспособный трафик, что для меня имеет ключевое значение.
С появлением он-лайн доступа и беспалтной базы подсказок работать стало удобней, и, главное быстрей.
Jorik85 вне форума   Ответить с цитированием
Старый 15.06.2015, 04:36   #97
seoteh
Дипломник
 
Регистрация: 29.10.2012
Сообщений: 72
Репутация: 683

По умолчанию Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Цитата:
Сообщение от MOAB Посмотреть сообщение
Здравствуйте!

К сожалению, из соображений безопасности мы не можем раскрывать всех тонкостей нашей системы хранения данных. Дискутировать о её нюансах у нас тоже, к сожалению, времени нет. Ценность в случае базы MOAB представляет не то, как данные организованы или хранятся, а сами по себе данные, которые уже помогают зарабатывать реальные деньги нашим пользователям.

Будут еще вопросы по существу - рады будем ответить.
Очень не хватает в pro версии выгрузки выделенных "выборок" (каждая в отдельный файл). Так например есть, выборки:
"борщ"
"суп"
"торт"
и т.д. и таких выборок 20 штук или больше, их не объединить потому, что они все разной тематики и приходится выгружать каждую раздельно, а это долго

---------- Post added 15-06-2015 at 06:47 ----------

Цитата:
Сообщение от MOAB Посмотреть сообщение
Здравствуйте!

К сожалению, из соображений безопасности мы не можем раскрывать всех тонкостей нашей системы хранения данных. Дискутировать о её нюансах у нас тоже, к сожалению, времени нет. Ценность в случае базы MOAB представляет не то, как данные организованы или хранятся, а сами по себе данные, которые уже помогают зарабатывать реальные деньги нашим пользователям.

Будут еще вопросы по существу - рады будем ответить.
Очень не хватает в pro версии выгрузки выделенных "выборок" (каждая в отдельный файл). Так например есть, выборки:
"борщ"
"суп"
"торт"
и т.д. и таких выборок 20 штук или больше, их не объединить потому, что они все разной тематики и приходится выгружать каждую раздельно, а это долго
seoteh вне форума   Ответить с цитированием
Старый 15.06.2015, 13:45   #98
MOAB
Дипломник
 
Регистрация: 20.12.2014
Сообщений: 87
Репутация: 20516

ТопикСтартер Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Цитата:
Сообщение от seoteh Посмотреть сообщение
Очень не хватает в pro версии выгрузки выделенных "выборок" (каждая в отдельный файл). Так например есть, выборки:
"борщ"
"суп"
"торт"
и т.д. и таких выборок 20 штук или больше, их не объединить потому, что они все разной тематики и приходится выгружать каждую раздельно, а это долго
Здравствуйте!
Добавим в ближайшее время возможность такого экспорта.

---------- Добавлено 15.06.2015 в 14:49 ----------

Цитата:
Сообщение от R_Tem Посмотреть сообщение
Покупал базу для группы сайтов бухгалтерской и правовой тематики.
Особенно понравилась хорошо работающая удаленная версия.
Обрадовали выгрузки фраз конкурентов по 3 млн фраз!
Очень доволен и рекомендую!
Благодарим за отзыв. Рады, что вам понравилось удобство работы на удаленном сервере.
Буквально на днях мы обновили конфигурацию удаленного сервера и оптимизировали работу БД - теперь все выборки на удаленном сервере выполняются в 5-6 раз быстрее.
Счет идет на минуты для выборок из MOAB Pro, выборки из MOAB Suggest выполняются еще быстрее.

---------- Добавлено 15.06.2015 в 14:50 ----------

Цитата:
Сообщение от Jorik85 Посмотреть сообщение
Брал базу еще зимой, когда не было еще он-лайн доступа, было не очень удобно, но деваться некуда. С тех пор использовал для собственных проектов коммерческой тематики, в основном промышленного направления.
Результат себя оправдал, база дает больше ключевых слов, чем любой другой источник, более того, по этим ключам идет вполне платежеспособный трафик, что для меня имеет ключевое значение.
С появлением он-лайн доступа и беспалтной базы подсказок работать стало удобней, и, главное быстрей.
Благодарим за отзыв. Рады, что смогли помочь вам повысить эффективность вашего бизнеса.
MOAB вне форума   Ответить с цитированием
Старый 26.06.2015, 12:26   #99
MOAB
Дипломник
 
Регистрация: 20.12.2014
Сообщений: 87
Репутация: 20516

ТопикСтартер Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Приносим извинения нашим пользователям за задержку апдейта от 25 июня по техническим причинам (подвел хостер). В настоящий момент работы ведутся нон-стоп, апдейт будет выкачен на сервер завтра в течение дня или раньше.
В апдейте: свежие подсказки ~ 1,5 млрд, инструменты оценки трафика по подсказке, множество других доработок.
MOAB вне форума   Ответить с цитированием
Старый 07.07.2015, 20:19   #100
dr.bering
Продавец букв
 
Регистрация: 22.02.2007
Сообщений: 421
Репутация: 20560

По умолчанию Re: MOAB – 3.2 млрд ключевых фраз из Яндекс.Метрики

Взяли версию ПРО. О финансовых результатах говорить пока рано, но база очень солидная, ключей просто завились по интересующим тематикам.
dr.bering вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 23:21. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны