ruslan3967: Я беру там месяц по тарифу Proxy-SEO 10 мне выдают 10 айпи - я начинаю парсить и все 10 айпи банят.
потоков в 2 раза меньше ставьте, чем количество прокси и таймауты хорошие
ruslan3967: Мне Глобател их меняет или они на выброс или блочатся на 3-4 дня а я в это время курю бамбук и рассказываю клиентам как космические корабли бороздят большой театр?
я думаю вопрос нужно задать в глобател, т.к. это сторонняя организация
ruslan3967: Как по опыту работы с этими прокси - забаненные меняют?
не запрашивал, т.к. бан прокси, это не вина сервиса.
P.S. я бы не менял, т.к. клиент может и за десь тысячи IP таким макаром забанить
Donarkan: Есть пожелание по проверке корректности (хотя я предпочитаю называть эту характеристику - популярностью) словоформы.
Donarkan: это вообще востребованная задача - определять корректность словоформы?
это важная задача, и мы готовы ее обсудить в тикетах, подробно
Donarkan: Нередко сталкивался с тем, что конторы, предлагающие продвижение с контролем позиций в выдаче указывают словоформу, которой пользуется по сделанным мной оценкам менее 10% пользователей.
это их хлеб, им это выгодно :) предлагать такие слова, тут вопрос не в правильности словоформы, а в правильности бизнес-модели
skanja: Около часа назад программа перестала вычислять конкуренцию по Google.
Проблема еще у кого-нибудь наблюдается?
судя по отсутствию тикетов в тех поддержке на эту тему - проблема носит локальный характер, поэтому добро пожаловать в саппорт, описывайте подробней, будем решать http://www.key-collector.ru/user-support.php
ruslan3967: У саппорта есть свои прокси-сервера или еще варианты?
рекомендуемый нами глобател тоже частенько попадает в бан, но выделенные прокси мы покупаем там
titaniMOZG: а вот с недавнего времени - халява кончилась.
в целом оно и понятно, жестко стали его прасить :)
titaniMOZG: Я юзал сеопрокси, но они тоже в бане, судя по всему.
titaniMOZG, да нет, парсеры отловить проблемно, они же иммитируют человека :)
там поход системный будет, просто нужно писать не про то как программно собираете, а про то как офисный IP забанили ;)
titaniMOZG: В общем, сегодня ночью ставил парсинг вордстата с задержками 4-8 секунд. Итого: было спарсено около 6000 частотностей "!".
До этого, задержки были 1-2 секунды, и парсило порядка 1000 ключей.
В теории, это дает понять, что каждая секунда между запросами, дает "лимит" в тысячу запросов к вордстату.
да, сейчас 4500 - это пожалуй минимально с чего начинать нужно
Я беру там месяц по тарифу Proxy-SEO 10 мне выдают 10 айпи - я начинаю парсить и все 10 айпи банят.
потоков в 2 раза меньше ставьте, чем количество прокси и таймауты хорошие
Мне Глобател их меняет или они на выброс или блочатся на 3-4 дня а я в это время курю бамбук и рассказываю клиентам как космические корабли бороздят большой театр?
я думаю вопрос нужно задать в глобател, т.к. это сторонняя организация
Как по опыту работы с этими прокси - забаненные меняют?
не запрашивал, т.к. бан прокси, это не вина сервиса.
P.S. я бы не менял, т.к. клиент может и за десь тысячи IP таким макаром забанить
Есть пожелание по проверке корректности (хотя я предпочитаю называть эту характеристику - популярностью) словоформы.
еще бы внести это в http://www.key-collector.ru/news/support-how-to-use.php тикеты, в предложения по развитию, там бы и обсудили детали
это вообще востребованная задача - определять корректность словоформы?
это важная задача, и мы готовы ее обсудить в тикетах, подробно
Нередко сталкивался с тем, что конторы, предлагающие продвижение с контролем позиций в выдаче указывают словоформу, которой пользуется по сделанным мной оценкам менее 10% пользователей.
это их хлеб, им это выгодно :) предлагать такие слова, тут вопрос не в правильности словоформы, а в правильности бизнес-модели
TheGent, в программе есть новости, которые загружаются с сайта, именно поэтому и запрашивается.
Подскажите, какие прокси использовать для чека большого количества ключей?
И порекомендуйте где их купить?
лучше всего выделенные, не подборки платные, а просто выделенные прокси
Мы используем globatal http://www.globatel.ru/hosting/seohosting но их тоже банят и это нужно понимать
Если хотите дешевле, то нужно искать приват прокси, либо шаред прокси
ruslan3967, ruslan3967, мы подумаем над сборщиком. Просто мы изначально за качественные прокси были, которые не мрут, а выделенные.
Около часа назад программа перестала вычислять конкуренцию по Google.
Проблема еще у кого-нибудь наблюдается?
судя по отсутствию тикетов в тех поддержке на эту тему - проблема носит локальный характер, поэтому добро пожаловать в саппорт, описывайте подробней, будем решать http://www.key-collector.ru/user-support.php
У саппорта есть свои прокси-сервера или еще варианты?
рекомендуемый нами глобател тоже частенько попадает в бан, но выделенные прокси мы покупаем там
а вот с недавнего времени - халява кончилась.
в целом оно и понятно, жестко стали его прасить :)
Я юзал сеопрокси, но они тоже в бане, судя по всему.
да, их тоже побанили, видимо много
продолжаем собирать комментарии, вроде альфа версия прошла тесты :)
titaniMOZG, да нет, парсеры отловить проблемно, они же иммитируют человека :)
там поход системный будет, просто нужно писать не про то как программно собираете, а про то как офисный IP забанили ;)
В общем, сегодня ночью ставил парсинг вордстата с задержками 4-8 секунд. Итого: было спарсено около 6000 частотностей "!".
До этого, задержки были 1-2 секунды, и парсило порядка 1000 ключей.
В теории, это дает понять, что каждая секунда между запросами, дает "лимит" в тысячу запросов к вордстату.
да, сейчас 4500 - это пожалуй минимально с чего начинать нужно
Я пользователь программы.
это программа для сбора и анализа ключевых слов, а не для сбора параметров сайтов
Или подскажите аналоги?
я думаю стоит пройтись по разделу /ru/forum/optimization-practices/services или поиском по разделу
igor23, в топике бесполезно это обсуждать, с деталями в техподдержку http://www.key-collector.ru/user-support.php
Пришлите, пожалуйста, демонстрационный проект из нескольких слов, где наблюдается проблема, и файл Preferences/Сonfig.xml из папки с программой.
Укажите что именно в "яшке" не парсится
zilon, ну если Вы именно нашли прокси, то скорее всего не Вы один их нашли, поэтому капчи на публичных прокси дело частое