Парсинг статистики поисковых запросов

Сергей про е-ком
На сайте с 11.05.2008
Offline
288
12853

Всем привет. Видел, но не нашёл тему про парсинг. А уже всё грустно печально совсем с капчёй и объёмом. 

Суть задачи - парсинг десятков и сотен тысяч запросов на базовые параметры: все виды частот, данные с Директа. Как правило за год и 50 на 50 с гео и без. 

Инструмент: Кейколлектор + приватные прокси. Скорость парсинга ~5000 (все виды частоты) запросов на 1 аккаунт за 8 часов, быстрее, если в словах нет спецсимволов и они не состоят более, чем из 7 слов. Метод парсинга - Яндекс.Директ. На нулевых же аккаунтах (или едва отлёженных), капчка вылетает после обработки пары-тройки сотен запросов и чем дальше, тем больше. Ну и баны прилетают. 

Слова вытаскиваются из всех возможных источников: Вебмастер, Консоль, Букварикс, Кейсо, Вордстат, Планнер. Соответственно, адекватных данных на первом скоринге не получить, как и годовой семантики. Делать задачу через Кейсо и аналоги - неадекватно дорого. Но делать через свои аккаунты стало слишком долго. Реально работают только живые аккаунты, с которых были транзакции и Директ (при том одинаково нормально работают и агентские аккаунты и личные). 

Соответственно, вопрос: как Вы сейчас обрабатываете огромные ядра? 

Крутейшая тема и конструктор на WP - https://shop.greenshiftwp.com/?from=3338
Сергей про е-ком
На сайте с 11.05.2008
Offline
288
#1

Парам-пам-пам, никто не работает со структурирование и проектированием интерфейса под SEO или данные слишком ценные? )

У кого есть опыт запросов по API Вордстата таких ядер?

Z0
На сайте с 03.09.2009
Offline
812
#2
Сергей про е-ком #:
У кого есть опыт запросов по API Вордстата таких ядер?

Они не всем этот апи выдали, мне отказали, сказали, шо тестовый набор закончен, ждите :)

А вообще в вордстате часто какие-то совсем не такие данные, как в реальности :)

Devvver
На сайте с 02.07.2008
Offline
684
#3
ziliboba0213 #:
Они не всем этот апи выдали, мне отказали, сказали, шо тестовый набор закончен, ждите :)

Та же история. Обидно как то, с учетом что по факту с моей помощью они баг один поправили.

Мой блог. Все о создании сайтов,Seo и СДЛ ( https://e-moldovanu.com/ ) Мой SEO телеграм канал https://t.me/seobloggers
Сергей про е-ком
На сайте с 11.05.2008
Offline
288
#4
ziliboba0213 #:

Они не всем этот апи выдали, мне отказали, сказали, шо тестовый набор закончен, ждите :)

А вообще в вордстате часто какие-то совсем не такие данные, как в реальности :)

Синтаксис. ) Вебмастер адекватные данные выдаёт (но не всегда полные), но там по своим словам сделать можно, только обходным и геморойным путём. Есть ещё вариант сравнивать данные через статистику Директа (показы), но там данные тоже плавают, по понятным причинам.
Datot
На сайте с 09.07.2007
Offline
1109
#5
Сергей про е-ком #:
Вебмастер адекватные данные выдаёт (но не всегда полные), но там по своим словам сделать можно, только обходным и геморойным путём. Есть ещё вариант сравнивать данные через статистику Директа (показы), но там данные тоже плавают, по понятным причинам.
И вы были бы правы лет 7 назад
Накрутка ПФ @samdatot Группа полезных сеошников https://t.me/karkali Что надо знать владельцам сайтов https://dzen.ru/tunnel.ru
Сергей про е-ком
На сайте с 11.05.2008
Offline
288
#6
Datot #:
И вы были бы правы лет 7 назад

Да вообще-то это стало актуальным как год. Лет 7 назад в Вебмастере и функционала не было, а Директ не резал так активно ботов (показы против !). Но Вы продолжайте общение не по делу. )

samimages
На сайте с 31.05.2009
Offline
427
#7
Сергей про е-ком :
Суть задачи - парсинг десятков и сотен тысяч запросов на базовые параметры: все виды частот, данные с Директа.

по директу, наверное проще купить для уже отобранного...
для грязной выборки (у русского носителя словарь 5000 слов (если повезло)) на 100К это 20 повторений каждой лексемы из базового словаря, проще скрипт написать и компилировать по стеммингу, например.

Частот не будет? Да, но объективно там строго по фразам у 95% все равно 0, а "спрос" не вытащить... бесплатно по крайней мере.

Суть задачи сама по себе странная, ну т.е. если бы я искал конверсию, то искал бы в директе, упущенную в мертвых кампаниях
если бы я искал релевантность, то искал бы в СЕРПах... а что искать в вордстате в 2025-ом, мне не совсем понятно

Опыт как иммунитет — приобретается в муках! Аудит семантики от 15К [долго] - ЛС
Антоний Казанский
На сайте с 12.04.2007
Offline
745
#8
Сергей про е-ком :
Суть задачи - парсинг десятков и сотен тысяч запросов на базовые параметры: все виды частот, данные с Директа. Как правило за год и 50 на 50 с гео и без. 

Если в таком объёме, то по API с Кейсо самый резонный вариант.


Сергей про е-ком :
Инструмент: Кейколлектор + приватные прокси. Скорость парсинга ~5000 (все виды частоты) запросов на 1 аккаунт за 8 часов, быстрее, если в словах нет спецсимволов и они не состоят более, чем из 7 слов. Метод парсинга - Яндекс.Директ. На нулевых же аккаунтах (или едва отлёженных), капчка вылетает после обработки пары-тройки сотен запросов и чем дальше, тем больше. Ну и баны прилетают. 

В таких объёмах тянуть через прокси с аккаунтам - изнурительное и слишком трудозатратное дело.


Сергей про е-ком :
Делать задачу через Кейсо и аналоги - неадекватно дорого. Но делать через свои аккаунты стало слишком долго.

Как вариант арендуйте корпоративный аккаунт, там сейчас хорошие лимиты.

300K запросов на корпоративном. Нередко и они не выбираются. 


Сергей про е-ком :
Соответственно, вопрос: как Вы сейчас обрабатываете огромные ядра? 

Кейсо и ещё раз Кейсо. По функционалу и возможностям они круто оторвались от всех конкурентов.


Сергей про е-ком :
неадекватно дорого

Адекватно. Мы берем корпоратив на 5 человек.

300K запросов в месяца на 5 человек, часть из которых и не добирают свой объём покрывает практически полностью весь объём по семантике, которые я веду по своему перечню клиентов.


Сергей про е-ком #:
Парам-пам-пам, никто не работает со структурирование и проектированием интерфейса под SEO

Я уже давно не вижу на форуме SEO-шников, которые бы серьёзно занимались запросной аналитикой и работали с большими объёмами.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Z0
На сайте с 03.09.2009
Offline
812
#9
samimages #:
а что искать в вордстате в 2025-ом, мне не совсем понятно

Ключи для дорвеев =)))) шуткую =)

Сергей про е-ком
На сайте с 11.05.2008
Offline
288
#10
Антоний Казанский #:

Если в таком объёме, то по API с Кейсо самый резонный вариант.


В таких объёмах тянуть через прокси с аккаунтам - изнурительное и слишком трудозатратное дело.


Как вариант арендуйте корпоративный аккаунт, там сейчас хорошие лимиты.

300K запросов на корпоративном. Нередко и они не выбираются. 


Кейсо и ещё раз Кейсо. По функционалу и возможностям они круто оторвались от всех конкурентов.


Адекватно. Мы берем корпоратив на 5 человек.

300K запросов в месяца на 5 человек, часть из которых и не добирают свой объём покрывает практически полностью весь объём по семантике, которые я веду по своему перечню клиентов.


Я уже давно не вижу на форуме SEO-шников, которые бы серьёзно занимались запросной аналитикой и работали с большими объёмами.

Кейсо есть. Директ же там как *2. Структурировать в Кейсо, кстати, совсем неудобно. ) На такой объём можно и в ПТ (500к+ запросов за 23к). Но, опять же... Хотя уже итоговую семантику скорю именно там, если сложная ниша (у Кейсо нет такого функционала). Кейсо был бы мне избыточен изначально, если бы хватало их базы, а реальность такова, что Кейсо в объеме семантики занимает 10-20%. Я так понял, сам инструмент Вордстат API они ещё не подключили? КК по Апи настроен к ним. 
samimages #:

по директу, наверное проще купить для уже отобранного...
для грязной выборки (у русского носителя словарь 5000 слов (если повезло)) на 100К это 20 повторений каждой лексемы из базового словаря, проще скрипт написать и компилировать по стеммингу, например.

Частот не будет? Да, но объективно там строго по фразам у 95% все равно 0, а "спрос" не вытащить... бесплатно по крайней мере.

Суть задачи сама по себе странная, ну т.е. если бы я искал конверсию, то искал бы в директе, упущенную в мертвых кампаниях
если бы я искал релевантность, то искал бы в СЕРПах... а что искать в вордстате в 2025-ом, мне не совсем понятно

В смысле? Вот сейчас семантика для крупной школы в работе, детское развитие и начальное образование, только с префиксом проблемы - 180000 частотных запросов без неявных дублей. ) При том если бить их контент-маркетинг по готовым кластерам, сразу видно, что недоработанные в ширину куски ранжируются значительно хуже. По каким-нибудь кунгам запросов 10000... ) Какая-нибудь микросфера в ортопедии - 5к запросов релевантных.


И, как заметил Антоний, конверсии у запросов абсолютно разные и в тематике тех же курсов (дорогая тематика), есть смежные с инфо интенты, которые конвертят в десятки раз лучше. )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий