Mike05

Рейтинг
91
Регистрация
10.06.2009

Нельзя ли получить актуальную информацию о цене и условиях приобретения? (А то где-то уже видел, что информация в исходном посте не соответствует сегодняшним реалиям).

CheckParams.com - пока бесплатный. И жутко эффективный.

К документации (не знаю, не слишком ли поздно я это пишу):

Было бы хорошо включить пример наиболее эффективного с точки зрения разработчиков процесса подбора кеев для нового проекта (т.е. рекомендуемая последовательность действий, и настройки на каждом этапе).

В частности я очень страдаю от чрезмерного обилия мусора в собираемых кеях (и одновременно, на сбор и обработку этого мусора тратится уйма времени - даже чтобы воспользовать фильтрами надо сначала получить данные по куче ненужных слов).

MIND:
Mike05, парсинг в сколько потоков был? Через прокси или напрямую? По этому поводу посмотрим.

В один поток напрямую.

MyOST:
просто сотрудников не было свободных в антигейте и все, это не баг

Вряд ли полчаса не было сотрудников (я столько ждал продолжения работы парсинга). Т.е. не обработался какой-то сбой, который по логике должен обрабатываться.

Небольшой баг-репорт:

В процессе съема позиций Яндекса прога застопорилась на распознавании капчи через антигейт (перед этим много капч прошло успешно). Пришлось остановить процесс, после остановки выдало внизу:

"ошибка при работе с сервисом Antigate"

После повторного запуска (продолжения) все нормально.

Т.е., видимо, надо доработать обработку ошибки распознавания или таймаут сделать, чтобы не стопорилась.

Подскажите, пожалуйста, отчего может быть такое:

16.02.2011 16:31:55: начат парсинг позиций по Yandex

16.02.2011 16:31:55: парсинг позиций по Яндексу закончен

Кеев много. Гугл параллельно парсит.

Да не немножко она обновилась, а очень существенно. Юзаю уже больше 3 месяцев. Прога и была крутая, а теперь это целый "минизавод" по массовому получению любых данных от любых сайтов и служб в инете. Снимать их можно в 300-400+ потоков (если канал позволяет), параллельно она в сотню+ потоков в фоновом режиме чекает прокси (сама же их и собирая, и отдавая хорошие другим прогаммам по хттп). Можно настроить ее на получение сразу необходимых данных, если их легко вычленить из полученных страниц, а можно динамически обрабатывать ее выдачу своими скриптами. С появлением возможности управления прогой пост-запросами по хттп, она стала совсем универсальной, и можно добиться полной автоматизации. Делается скрипт на php (или кто на чем умеет), который дает ей исходные данные, забирает результаты, обрабаывает их, и по результатам вновь формирует задание и скармливает его чекпарамс, и такой цикл может быть непрерывным. От паука до ДДоса (в смысле нагрузочного тестирования сайтов) все можно делать. :)

В общем, инструмент поистине уникальный в умелых руках.

В честь старого Нового года и завершения национальной пьянки.

От данной минуты и до 24-00 16 января вы можете приобрести базу (полный комплект) по специальной цене всего 17 WMZ или 544 WMR.

Подробности - на сайте - http://sitesdata.ru/kupit.htm

makapoff:
готов купить по этой же цене в честь НГ )

ОК, покупайте, праздник - это святое. :) Реквизиты для оплаты - на сайте.

Единственно, я буквально сейчас убываю на дачу, и буду только 2-го января. Тогда сразу дам ссылку для скачивания баз.

Кто оплатит до моего приезда - всем такие условия. :)

С Новым годом! Счастья и удачи Вам и всем форумчанам в новом году!

Всего: 181