Хмм, 10к выпарсивает менее 5-7 минут в 10 потоков (если источник конечно позволяет), дальше математика проста, это 2к в минуту, или 120к в час-полтора. Что вас удивляет в таких цифрах?
Не стану никому ничего доказывать, так как с прогерским утверждением "самописное лучше", и не поспоришь.
Разный инструмент по разному удобен.
Ну с тем софтом это дело часа-двух, хотя практически любой крупный банк статей парсит менее чем за час.
P.S. я не дистрибьютор Content Downloader, скорее просто довольный пользователь 🚬
Если без скосов, то можно было бы просто в прокси прописать localhost:открытый порт. К сожалению программа не рассчитана на подобные конфигурации, прописано, что запускаться должно под правами администратора, и прямое интернет соединение с открытыми портами.
Мы не можем нести ответственность за некорректную работу стороннего софта (проксикап, фрикап и.д.).
Добрый день. Если туннелирование, пропишите вместо прокси, так как скорее всего программа не может достучаться до Яндекса.
Парсинг по месяцам только что проверил, спарсило все 5 месяцев.
Вышло обновление, билд 124
— поправлен чекер Yandex, yandex-xml (по точкам входа). Для XML достаточно ввести логин и пароль, для максимального удобства никаких ключей не требуется, программа сама их возьмет из аккаунта yandex.
— исправлен глюк с открытой статистикой LI в разделе экспресс-аудит
— добавлены новые регионы для yandex, а точнее все (хоть в данный момент Яндекс полноценно поддерживает лишь десяток-другой).
Скачать новую версию.
До выходных XML будет работать.
По поводу allsubmitter, так как мы не имеем никакого отношения к этой программе, не сможем ответить на этот вопрос. Могу только сказать что TrafficWeb никоим образом на работоспособность другого софта не влияет.
можно об этом подробнее, желательно на почту trafficwebru[sobaka]gmail.com
В пакетке очень не хватает полей из раздела "Структура" а точнее Название папок категории, название файлом, приходится под 200 доменов создавать 200 профилей под каждый.
Все работает, кроме определения позиций напрямую с Яндекс (но доступна функция XML, LJ, QIP). Программист был в отпуске. Сейчас идет работа над багфиксами.
Все верно. Только если пункт 1.2., 1.5. критичны, то лучше не "Парсинг поисковых запросов в LiveInternet." из "По поисковым фразам", а "Экспресс аудит".
2. Учитывая этот пункт, благоразумней тогда все же парсить "По поисковым фразам", без чекеров, а уж потом обрабатывать вторым модулем программы, и парсить нужные данные, позиции, вордстат, и т.д.
Для парсинга 50 000 поисковых фраз с LI.ru таймаута 1-5 сек будет достаточно.
Для проверки работоспособности программы перед покупкой используйте Демо версию, отличие от лицензии - ограничение 20 ключевыми фразами.
не прошли модерацию полугодовалые доски объявлений с тиц 40-50, жесткая модерация стала все-таки :)
В других местах "обетованных" статистика по подобным сайтам следующая (но нет функции, чтобы ограничивать количество заявок, и приходится удалять вручную, чтобы не переборщить с приростом)
Может все-таки надо как-то помягче с сайтами у которых хоть какие-то пузомерки есть? Я конечно понимаю, делайте СДЛы и все такое, но!! если сайт прожил не тужил пол года, имеет пузо, чего отказывать то?
http://trafficweb.ru/minifaq/?id=11&r=378726
