Массовая группировка запросов для парсинга в Key Kollector 4

Доброго :)

Это заметно, начиная с неправильного указания имени программы :)

В оф. справке Гугла вы этой информации не найдете.

С последующей властью всё достаточно условно, но в целом, разобраться с разделением запросов вы рано или поздно сможете.

Кластеризация - это и есть группировка запросов по рабочим кластерам.

Условно - да. Но есть ещё такое явление, как меняющийся интент запроса (когда например информационный запрос становится коммерческим или наоборот) - тогда можно сказать, что его временное пребывание в том или ином кластере условно.

Здесь надо сразу избавляться от ненужных иллюзий:

1) Яндекс и Гугл в принципе могут определять разную релевантность

2) Яндекс и Гугл между собой (в плане ранжирования) никак не связаны

3) Поисковики не ругаются, они просто ранжируют в соответствии с определённой релевантностью и особенностями работы своих алгоритмов - им всё равно

4) Правильная кластеризация и даже релевантность никак не гарантия топа

Все мы пребываем в парадигме своего понимания :)

Ну это как сказать. Объём запросов не всегда является видимой проблемой, есть и другие не вполне явные проблемы с которыми вы наверняка столкнётесь.

Если вы имеете ввиду несложность визуальной классификации, то в общем, да.

Фраза составлена не совсем точно. Что вы называете группировкой, а что парсингом?

Парсинг - это автоматизированный (как правило программный) сбор ключевых запросов из рабочих источников.

А вот группировка - это объединение запросов по тем или иным критериям.

Сначала происходит парсинг, а уже потом группировка. В вашей же фразе предполагается некая группировка до начала парсинга. 

Каждая фраза? Опять-таки, смотря что вы называете фразой. От чего вообще отталкиваетесь на старте работ с семантикой.

Фраза - это самостоятельно законченная мысль, которая может включать в от двух до нескольких слов. Из этого следует, что однословный запрос - это не фраза, а ключевое слово. 

После парсинга в любом случае происходит этап группировки и кластеризации запросов. Мучится с этим или заниматься этой работой с удовлетворением - уже личный индивидуально-психологический аспект.

Чтобы задать вложенность, вам нужно определить структуру парсинга т.е. рабочий принцип, где будут родительские и дочерние группы для формирования рабочей таксономии.

Допустимо и так, но вам нужно определить рабочий принцип, иначе у вас кол-во групп будет равно кол-ву ключей.

Мой опыт следующий. Я всегда сначала формирую рабочую структуру (исходя из данных бизнеса), а уже потом для каждого уровня структуры формирую ядра. 

Это конечно требует определённой проф. опыта и интуиции, чтобы потом правильно дробить древо, но гарантирует то, что уже на раннем этапе ты будешь подбирать запросы под контекст сайта / бизнеса, а не наоборот, когда непосвященный в бизнес семантист начинает формировать структуру глядя на конкурентов, а потом оказывается, что у бизнеса свои особенности и много обработанной информации просто не соответствует текущим реалиям бизнеса.

А анализ бизнеса и структуры сайта макрос Экселя сам выполнит? 

Любая автоматизация требует определения рабочего алгоритма, а в рабочий алгоритм должен быть заложен принцип. Пока рабочего принципа нет, сам макрос за вас эту работу не сделает.

Структуру должны определить вы. Хотя если у вас информационный сайт и материалы для сайта будут готовить не вы, то здесь - да, могут быть варианты определения структуры через проведённую кластеризацию.

Это и будет автоматической кластеризаций на основе данных топа.

А лёгких путей в большом объеме данных нет. 

Даже когда вы выполните программную кластеризацию, внутри групп вам всё равно придётся заниматься обработкой данной.

В программе конечно есть инструменты для групповой обработки, но так или иначе это всё равно сортировочная работа.

Автоматом выполняется автоматическая программная кластеризация.

Доля необходимого ручного труда всегда присутствует. Объём этого труда зависит от ваших навыков работы в программе и опыта в семантике.

Но любой опыт достигается в трудах.

Хоть миллион. Как говорил один известный персонаж 😉

Выше я вам уже подсказал - сначала сформируете рабочую структуру, а потом уже для каждого уровня парсите запросы.

Продвигаясь от частного к общему, вы уже будете понимать, что вам нужно брать в рабочее СЯ, а что пропускать.

Копайте для начала в освоении материалов по составлению семантики. 

Скачайте / купите / попросите для начала курс по семантике от Ожгибесова. Он довольно своеобразно, но в целом достаточно подробно рассказывать как работать с семантикой в Коллекторе. 

Пожалуйста, дерзайте 😎

Спасибо за очень развернутый комментарий.

Ой и вправду название неправильно написал. Надеюсь модеры поправят.

Знаете как ни странно я именно такой ответ и ожидал. Вы нессомненно во всем правы. Разумеется я смотрел Ожгибесова и много кого еще. Конечно понимаю что от ручного труда не уйти. Мне в принципе это нравится.  Понятно что нужно знать суть бизнеса или сайта что бы собирать семантическое ядро.

Вот с вложенностью ключей для парсинга у меня и есть проблема. Я со своей стороны вроде понимаю что где должно быть. Но вот как эту вложенность сделать дя 10К ключей.

Пожалуйста, пожалуйста 👌

Это вряд ли.. :)

Значит вы интуитивно готовы к необходимым рабочим действиям.

Я себя столь категорично не оцениваю :)

Уже хорошо.

Так какая именно? Вам лучше детально описать контекст проблемы с рабочими данными и тогда вы скорее получите ответ по сути.

Вы тогда лучше отталкивайтесь не от объёма запросов  (кстати, почему именно 10K? почему не больше или не меньше? кто вас настроил на эту цифру?) - так вот, отталкивайтесь от контекстной структуры. 

Структура сама определяет контекстные ограничения, например, возьмём фокус,

стул

- красный стул

- синий стул   

и в данном случае вы начинаете работу не с общей семантики "стул", которая напарсит вам огромное множество запросов связанных с общим запросов "стул", а начинаете с частного случая - "красный стул". Парсите всё, что касается красных стульев. Если видите дробления на более мелкие - достраиваете дочерние ветки и переходите в них.

В самом конце возвращаетесь к общему запросу и "вычитая" из перечня всё то, что вы уже обработали на дочерних ветках, смотрите что осталось.

Если нужно - достраиваете новые ветви структуры, если не нужно - отбрасываете.

Стоп слова наверняка отсеет процентов 15-20%, дальше вы идете по отсеву группировки запросов и нередко уходит до половины объёма.

Все эти приёмы у Ожгибесова освещаются, так что объём не должен останавливать. Главное, правильно выбрать информационную область и не возиться с тем, что точно не нужно.

И ещё. Когда ты непосредственно работаешь с продвижением сайта, то моя рабочая установка - работа с семантикой не заканчивается никогда.

Поэтому не надо мучать себя перфекционизмом собрать всю вертикаль запросов. Когда например у огромного интернет-магазина сотни тысяч товаров, не нужно на старте спускаться в товарные микро частотники, пытаясь выпарсить всё. Я всегда сначала оцениваю приоритетные категории и потом оцениваю насколько рабочее древо дробиться по вероятностным семантическим нишам. Шаг за шагом осваиваю зоны семантики и только потом погружаюсь в дебри низкочастотных бездн :)

Со временем семантика всё равно будет дополняться фактическими запросами из показов запросного индекса, поэтому когда проект большой, там копать не перекопать. Главное правильно расставить приоритеты, а потом со временем детализировать нужные ветки рабочего древа.

Да я понимаю что идем от частностей к общему. Сперва широкие маски (ключи) парсим. Потом что осталось по узким. Иначе будет не айс. Меня не пугает сам обьем ключей. Наооборот воодушевляет.

Поясню суть вопроса. Есть формат Key Collector для импорта вложенности категорий ключей.

Вот и чисто технически не пойму как к такому формату привести ключи массово. Ключи перемножаю, получается список на 10К запросов. И нужно как то каждую группу подгруппу вывести в таком формате и импортировать в КК.

Как уже говорил выше, я начинаю с формирования товарного древа.

Я обычно идут по актуальному древу и наполняю каждый уровень. Если на каком-то из уровней вижу доп. актуальную частотность для нового уровня, оцениваю насколько это актуально с точки зрения товарной группировки и ввожу новую ветку.

А потом прилетает грязная вонючая жопа в "молочка обизжиреная"

Это не критика методологии, конечно

Влет, кроме мультикатегорийных запросов, вижу еще проблему необнаружимости фильтров при товарной таксономии 

Спасибо всем за участие. Вижу что палится  ни кто не хочет.  Вроде обозначил вполне конкретно задачу. Оказался др...ом. Ок отпишусь как найду оптимальный вариант. Думаю отличная тема для прям статьи на сайте,дерзайте! Запрос то есть. А оптимального решения нет. Лишь для тех кто озадачился так же заморочится: Вижу вариант либо средствами КК, но это не самый технологичный варик, либо какой то макрос заказать. 

Так нету тут никакого палева как и волшебной кнопки "бабло" - нажал и всё готово. Всё только головой: анализ конкурентов из топа - структуры, фильтров, информационки.

Потом что насобирал -> в КК и дособирывай фразы и частоты.

Потом к тому что обязательно должно быть на сайте добавляй то в чём топы не в топе.

Да хорош. Всё есть - и статейки и видосы и цельные курсы. Вот чего нет так это гарантий что всё получится )

Купи компетенцию (консультацию) и точно узнай что есть, а чего нет. Купи методы аналитики.

В этом случае  запрос вполне резонно уходит в раздел информационных статей.

Согласен, замечание резонное и мультикатегорийные запросы действительно встречаются, но такие запросы выявляются при любом подходе.

Практически всегда проблему можно разрулить, а то что прям совсем "невпихуемое" - я отбрасываю по принципу - убирая меньшее, ради большего.

Корректное определение задачи - уже 30% рабочего решения. Вы дали фрагмент и по нему уже множество вопросов в отношении рабочего ассортимента, поэтому перед тем как формировать группы у вас должно быть умозрительное представление о построении рабочего древа. 

Фактически - это навык декомпозирования и это умение нужно тренировать, потому как в общем-то один из самых важных и для сеошника, и для программиста.