Keytoday: уникальная база кейвордов для доров

кейворды откуда парсите ?

Для сбора кейвордов используется закрытая системная функция одного из западных поисковиков (пока секрет какого). С помощью этой функции я получаю лайв-запросы, что-то типа прямого эфира яндекса.

ну-ну ... :)

уже второй раз всплывает эта закрытая системная функция. о чем речь? )

да наверное ручками в гугле едвордс! и дальше....

CTRL+C CTRL+V

CTRL+C CTRL+V

CTRL+C CTRL+V

CTRL+C CTRL+V

CTRL+C CTRL+V

CTRL+C CTRL+V

CTRL+C CTRL+V

CTRL+C CTRL+V

CTRL+C CTRL+V

☝

Китайцы? 😕

mr.MAIL, я конечно не специалист по сбору и обработке информации, но по моему Вы чего то реально непонятное делаете: key - нужно, today - да как то неособо, причем именно это и может свести трактовку зоны домена именно как НЕТ :)

Просто судя по вышеописанному Вами способу получения данных вы их получаете с помощью "я получаю лайв-запросы, что-то типа прямого эфира яндекса." - т.е. если определенный ключевик запрашиваеться пользователем хотябы раз в сутки - то Вам для корректного подсчета статистики - нужно его обязательно за сутки отловить - что не факт что получиться при "лайв запросах" - кроме того если это использовать и стремиться к точности данных, то Вам придеться к лайв каналу обращаться чаще пользователей ПС, чтобы не пропустить запросы и коректно подсчитать статистику.

У Вас же, как из скрина видно, просто с определенной периодичностью происходит обращение к лайв-каналу, при обнаружении нового ключевика он заноситься в базу и чекаеться бид, при обнаружении имеющегося в базе ключевика - добавляеться 1 в статистику по кею, а еще вопрос - бид перепроверяеться? :)

Просто чтобы такая схема нормально работала - надо обращаться к тому лайв-каналу чаще чем пользователи к той ПС, причем разика в два (по теореме Котельникова), а лучше в три от максимальной (пиковой) суточной частоты запросов в той ПС..., а еще если и бид перепроверяете ... :)

- то и ПС и чекалка бидов лишним десяткам миллионов обращений в сутки не особо рады будут :)

Так что, на мой взгляд, если хотите сделать достойный онлайн сервис то лучше замените в домене слово today на tomonth и найдите пару мест откуда можно парсить статистику запросов по кеям (только потом и укажите откуда статистика береться), посмотрите что и как делают конкуренты, (с этого лучше всегда и начинать), постарайтель сделать лучше, удобней, дешевле...

Всем желающим предоставлю бесплатный тестовый доступ на небольшое время. Стучите 288351039.

Да, данные по частоте могут быть немного занижены в моей базе. Однако на общее качество базы это влияет мало. Ведь популярность кеев носит относительный характер.

2 раза в секунду кстати

Скоро проверкой бида займется отдельный сервер. Бид берется с умакса, умакс не против :).

Спасибо за совет.

А какой статистике Вы доверяете?

Конкуренты друт кеи совершенно не заботясь о качестве. И деньги друт огромные за это. В мою базу не проходит ни один кей содержащий какой-либо символ кроме английских букв. Цифры тоже под запретом

Просто удвоенная частота запросов - это я взял "грубое приближение" не учитывая того что на лайв канале несколько кейвордов. Возьмем как у яндекса - 20 - тогда получаеться что для сбора достаточно достоверной информации можно парсить с частотой: (пиковая частота запросов в ПС/20)*2 итого пиковая частота запросов / на 10.

Вы опрашиваете канал 2 раза в секунду, что соответствовало бы предположению того что Вы приняли пиковую частоту запросов в ПС равную 20 в секунду.

Если предположить что пиковая частота запросов в два раза выше чем средняя то: средняя 10 в секунду*60*60*24=864000 - максимальное кол-во обращений от пользователей в сутки к ПС которую с такой частотой (2 раза в секунду) можно коректно парсить по такому алгоритму для сбора статистики.

Вы парсите ПС у которой в сутки менее 1М запросов от пользователей?

А как Вы ее нашли такую то? :)

Если нет то прикиньте теперь полноту сбора информации: если у той ПС допустим реально 10М запросов в сутки а у Вас алгоритм позволяет корректно обрабатывать всего для 1М, то у вас статистика по всем ключевикам будет в 10 раз заниженна (тут можно было бы умножать на коэффициент 10М/1М - но не зная реального кол-ва запросов к той ПС его тоже не введете нормально), а низкочастотники вообще пропадут и кол-во запросов к нормальной западной ПС я думаю значительно поболе чем 10М в сутки... вот и думайте...

И все равно итог - для нормального сбора статистики Вам надо опрашивать лайв канал с частотой ((пиковая частота запросов)/(кол-во ключевиков на странице))*(2....3) - если ключей как я выше считал 20 то Вы все равно должны быть каждым одинадцатым обратившимся к ПС -10% процетнов трафа будете им приносить, и все на страничку лайв канала, и так постоянно... :)

То что сейчас делаете - месяц пособирайте, если потом сравните по полноте и по качеству статистики свою базу с другими источниками - сами все поймете. :)

Тем кто в курсе темы по циферкам на выложенном скрине уже все понятно....

Как брать и как чистить кеи - это отдельный разговор, у Вас таким методом статистику запросов по ним нормально собрать не получиться.