Key Collector - автоматизированная система анализа семантического ядра. Часть 7.

Английские запросы. Ключи на английском языке. Может ли коллектор проверять позиции и парсить для семантического ядра.

Надо централизованный кеш делать. Чтобы со всех пользователей либо инфа собиралась, либо все запросы на ваш сервер шли.

локальный кеш, смысла не имеет.

Хм... мы первый раз заметили специфический процент капчи (вернее, тогда ещё просто отказов) года два назад, в период послеапдейтных парсингов. Тогда суммарные суточные нагрузки достигали 15-17 млн. запросов (до 30 млн. в отдельных пиках, если пересчитывать).

Видимо, где-то в тот период и начался плотный анализ источников трафа на уровнях ниже http - полагаю, что сейчас разбор нагрузки достаточно автоматизирован на большинстве уровней, от пиров/магистральщиков (на входе по bgp) и до сравнения ip (и пакетов от него) с накопленной статистикой.

Только после чего решение по капче происходит на уровне собственно сервиса, к которому идёт запрос.

да может

все кто готов этой информацией делиться - идет к нам автоматом запрос сразу, если в бд нет информации, идет в яндекс и потом обратно нам

Кэш не локален

юни, капча хрен бы с ней, как говориться, вот когда они уже блочить начали IP, другая тема... Хотя и капча на каждый запрос - не вариант, затратно.

Я бы сделал тогда эту функцию принудительной. Тогда это просто прекрасно, это должно экономить сильно кол-во запросов.

MyOST, я к тому, что нужно удивляться другому - что это произошло так поздно. Соответственно, сколько-нибудь существенные объёмы парсинга нужно производить на новых принципах. А арендовать (хоть у Ростелекома) пару сеточек на сбор информации получится лишь у сеошников с минимальным объёмом работы.

Вы кэш какой собираете, вордстатовский? Перепроверяете инфу?

ей пользуются достаточно много пользователей, абсолютное большинство, т.к. выбора особо нет, вордстат работает плохо

принудительной ее мы не делаем именно потому, что есть тонкие моменты, когда не всегда это может быть удобным

да, нет не перепроверяем, пользователи "свежими" данными добивают

перепроверять такой объем - увы, мы не сможем на данный момент

Стоп. То есть пользователь идет к Вам - если есть инфа по ключу, то забирает ее, если нет, то идет сам в вордстат забирает инфу себе и передает заодно вам.

Так?

Одним словом - вы сами в вордстат не ходите - так?

ага

именно

MyOST, кто то выдает себя за Вас.

Контакты у офф. представителя другие!