Key Collector - автоматизированная система анализа семантического ядра. Часть 9

G8
На сайте с 09.04.2010
Offline
87
#951

экспериментами добился что прокси при откидывании к примеру 5 проксей, отключается сбор, хотя их там еще 600, поставил таймауты до 30 000 стали собираться, но прокси не перебираются до тех пор пока не будут откинуты все, с яндексом все время беда по сбору, думаю если бы не отключался сбор все до собиралось быстро.

Skype Gnev88 SEO оптимизация без закупки ссылок, только оптимизация и развитие проекта. SEO Бюджет в месяц от 25000р под ключ. Отличный съем позиций тут (http://www.seobrain.ru/#53640622)
Proofer
На сайте с 04.11.2011
Offline
291
#952
orka13:
«Вид – автонастройка видимости колонок – Экспортировать» и будет Вам счастье.

Всё понял. Сообразил) Тупил жестоко.

В настройках выделил все колонки для экспорта просто. Я просто заранее не проверил и думал, что экспортироваться будут все колонки)

F
На сайте с 10.08.2006
Offline
76
#953

Как быстро высылается активатор? 3 часа прошло, ни в спаме, нигде ничего.

MyOST
На сайте с 22.01.2006
Offline
559
#954

falc, во вне рабочее время (регламент работы саппорта), может достигать нескольких часов (до 5-6 максимум пожалуй).

Но для верности напишите в личку емайл, проверим, возможно все-таки уже выдана она.

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()
orka13
На сайте с 28.03.2011
Offline
102
#955
Gnev88:
экспериментами добился что прокси при откидывании к примеру 5 проксей, отключается сбор, хотя их там еще 600, поставил таймауты до 30 000 стали собираться, но прокси не перебираются до тех пор пока не будут откинуты все, с яндексом все время беда по сбору, думаю если бы не отключался сбор все до собиралось быстро.

Цифра 600 ничего не значит. Вы запустите проверку прокси с включенной опцией «Считать закапченные прокси серверы плохими». Вот тогда узнаете, сколько реально прокси рабочих в списке. Я при 100-200 незакапченных прокси ставлю «задержку 2500-5000 мс» и «Количество потоков 30-50». Пока экспериментировал для нахождения идеальных параметров, то также были приколы, когда парсинг заходил в ступор.

В Язли другой алгоритм работ с проксями. Он возможно находит пару рабочих среди ваших 600 прокси и нагружает их по максимуму, вот и успевает собрать данные, пока не словит капчу.

Продажи шаблона Google-Translate (Гугл Переводчик), скорость: 20 млн ключей/час, с прокси, без API. (http://zennolab.com/discussion/threads/prodazhi-shablona-google-translate.43684/) Переводит ключи, статьи, HTML+PHP файлы (целые сайты, доры) с сохранением верстки!
G8
На сайте с 09.04.2010
Offline
87
#956
orka13:
Цифра 600 ничего не значит. Вы запустите проверку прокси с включенной опцией «Считать закапченные прокси серверы плохими». Вот тогда узнаете, сколько реально прокси рабочих в списке. Я при 100-200 незакапченных прокси ставлю «задержку 2500-5000 мс» и «Количество потоков 30-50». Пока экспериментировал для нахождения идеальных параметров, то также были приколы, когда парсинг заходил в ступор.
В Язли другой алгоритм работ с проксями. Он возможно находит пару рабочих среди ваших 600 прокси и нагружает их по максимуму, вот и успевает собрать данные, пока не словит капчу.

Получилось снимать данные при условии что проверенные прокси на доступность в 3 потока с таймаутом 10 000 были очищены от неработающих на данный момент и выставленны на снятие таймаут от 6000 до 29000, снятие пошло и релевантные и позиции какие то, только долго это, но главное что работает.

F
На сайте с 19.02.2013
Offline
57
#957

никто не встречал такого при использование xml яндекса?

проверяю релевантные страницы, использовал 320 запросов, а уже пишет

17.04.2013 9:23:51: возникла ошибка при работе с Yandex.XML: Лимит запросов исчерпан — увеличьте лимит запросов, став партнёром Рекламной Сети Яндекса
17.04.2013 9:23:51: при съеме релевантный страниц по Yandex через XML была получена нулевая ссылка. Процесс остановлен

скрин доступных запросов http://take.ms/Hu7Tk

---------- Добавлено 16.04.2013 в 21:22 ----------

подождал немного времени, теперь работает :)

MyOST
На сайте с 22.01.2006
Offline
559
#958

fhkslsadlsdwk, еще бы я заглянул сюда http://webmaster.ya.ru/replies.xml?item_no=15375 , увы, но факт :)

S2
На сайте с 07.01.2008
Offline
611
#959

Проверяю сейчас много ключей, загружаю сотни тысяч в программу - работает отлично без тормозов.

Но вот такой вопрос, после пробивки на частоты, включаю фильтр, к примеру если = 0 - после этого скажем 300к отфильтровывается пустышек. Чтобы их удалить, надо сперва отметить их все общей галочной, это неск минут может занимать если ключей много, потом толко удалять можно. Можно ли дополнительное условие в фильтр - удалить выбранное, т.е. чтобы указал условие отбора и после отбора сразу удаление пошло.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
orka13
На сайте с 28.03.2011
Offline
102
#960

2Str256: Да, когда сидел на старых машинах, то замечал такие глюки. Выхода сейчас нет, разве делайте апгрейд ПК, или на худой конец - пишите разработчикам в планы. С большими объёмами данных по любому надо SSD накопитель и 4-8 ядер CPU.

UPD: Извиняюсь, не «глюки», а торможения в виде длительной обработки операций.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий