Хмм, 10к выпарсивает менее 5-7 минут в 10 потоков (если источник конечно позволяет), дальше математика проста, это 2к в минуту, или 120к в час-полтора. Что вас удивляет в таких цифрах?
Не стану никому ничего доказывать, так как с прогерским утверждением "самописное лучше", и не поспоришь.
response: переплатил бы тринадцать баксов, и уже два дня назад имел бы на руках нужную базу, а теперь еще самостоятельно парсить придется. деловой подход :)
Ну с тем софтом это дело часа-двух, хотя практически любой крупный банк статей парсит менее чем за час.
P.S. я не дистрибьютор Content Downloader, скорее просто довольный пользователь 🚬
Если без скосов, то можно было бы просто в прокси прописать localhost:открытый порт. К сожалению программа не рассчитана на подобные конфигурации, прописано, что запускаться должно под правами администратора, и прямое интернет соединение с открытыми портами.
Мы не можем нести ответственность за некорректную работу стороннего софта (проксикап, фрикап и.д.).
victim: Ага, та же петрушка. Я не использую прокси, точнее у меня тут на компе махинации и туннелирования всякие. В итоге - "нет свободных прокси для яндекса". В чем дело?
Билд новый сегодня только сказал.
victim добавил 15.10.2010 в 11:48 Еще такую проблему заметил. Парсится только один месяц из N выбранных. То есть мне надо за последние 5 месяцев. Проверка завершается после парсинга 4 страниц (200 первых запросов) за 1/5 месяцев.
Добрый день. Если туннелирование, пропишите вместо прокси, так как скорее всего программа не может достучаться до Яндекса.
Парсинг по месяцам только что проверил, спарсило все 5 месяцев.
— поправлен чекер Yandex, yandex-xml (по точкам входа). Для XML достаточно ввести логин и пароль, для максимального удобства никаких ключей не требуется, программа сама их возьмет из аккаунта yandex.
— исправлен глюк с открытой статистикой LI в разделе экспресс-аудит
— добавлены новые регионы для yandex, а точнее все (хоть в данный момент Яндекс полноценно поддерживает лишь десяток-другой).
имеется такая проблема- при запуске allsubmitter программа ваша перестает парсить- пишет нет соединения..
отсюда вопрос- могут ли быть какие-то корявые пересечения в их работе? может какие то там фремворки или еще какой бред? срочно прошу ответить на вопрос
До выходных XML будет работать.
По поводу allsubmitter, так как мы не имеем никакого отношения к этой программе, не сможем ответить на этот вопрос. Могу только сказать что TrafficWeb никоим образом на работоспособность другого софта не влияет.
и короче куча еще разных глюков.
можно об этом подробнее, желательно на почту trafficwebru[sobaka]gmail.com
В пакетке очень не хватает полей из раздела "Структура" а точнее Название папок категории, название файлом, приходится под 200 доменов создавать 200 профилей под каждый.
Все работает, кроме определения позиций напрямую с Яндекс (но доступна функция XML, LJ, QIP). Программист был в отпуске. Сейчас идет работа над багфиксами.
Добрый день!
Есть желание приобрести программу.
Хотел бы задать пару вопросов:
1. Правильно ли я понял насчет итогового алгоритма увеличения посещаемости:
1.1. Парсинг поисковых запросов в LiveInternet.
1.2. Определение популярности по вордстату и отброс непопулярных
1.3. Выбор из всей кучи наиболее популярных.
1.4. Определение места по данному запросу в Яндексе, и отброс тех которые уже и так в топе.
1.5. Определение релевантной страницы на своем сайте.
1.6. Составление итогового проекта вида: запрос-релевантная страница - (популярность по вордстату)
1.7. Продвижение по этому проекту внутренней оптимизацией и перелинковкой + биржами.
?
2. Чтобы отпарсить 50 000 запросов за пару-тройку дней сколько и чего понадобиться (я имею в виду количество прокси серверов, может еще чего то чего я не знаю)?
3. Чего то последние посты в данной ветке не вдохновляют. В каком состоянии сейчас программа? Все ли работает, не будет ли проблем с ней?
Все верно. Только если пункт 1.2., 1.5. критичны, то лучше не "Парсинг поисковых запросов в LiveInternet." из "По поисковым фразам", а "Экспресс аудит".
2. Учитывая этот пункт, благоразумней тогда все же парсить "По поисковым фразам", без чекеров, а уж потом обрабатывать вторым модулем программы, и парсить нужные данные, позиции, вордстат, и т.д.
Для парсинга 50 000 поисковых фраз с LI.ru таймаута 1-5 сек будет достаточно.
Для проверки работоспособности программы перед покупкой используйте Демо версию, отличие от лицензии - ограничение 20 ключевыми фразами.
...владельцы которых получили золотые медали на Олимпийских играх. Ужесточать, так ужесточать.
не прошли модерацию полугодовалые доски объявлений с тиц 40-50, жесткая модерация стала все-таки :)
В других местах "обетованных" статистика по подобным сайтам следующая (но нет функции, чтобы ограничивать количество заявок, и приходится удалять вручную, чтобы не переборщить с приростом)
0 25.08.2010 49.8888 руб.
1 24.08.2010 50.5398 руб.
2 23.08.2010 51.1503 руб.
3 22.08.2010 50.9334 руб.
4 21.08.2010 49.2438 руб.
5 20.08.2010 46.7226 руб.
6 19.08.2010 45.1635 руб.
7 18.08.2010 42.4722 руб.
8 17.08.2010 37.8774 руб.
9 16.08.2010 31.2654 руб.
10 15.08.2010 29.4927 руб.
11 14.08.2010 26.1012 руб.
12 13.08.2010 23.1288 руб.
13 12.08.2010 10.2588 руб.
14 11.08.2010 4.7109 руб.
Может все-таки надо как-то помягче с сайтами у которых хоть какие-то пузомерки есть? Я конечно понимаю, делайте СДЛы и все такое, но!! если сайт прожил не тужил пол года, имеет пузо, чего отказывать то?
Если вписать просто адрес к PHP-скрипту, то IP-адрес при запросе к сайтам будет использоваться первый попавшийся. Чтобы явно указать, какой из присвоенных серверу IP-адресов использовать, нужно указать его через параметр i.
Хмм, 10к выпарсивает менее 5-7 минут в 10 потоков (если источник конечно позволяет), дальше математика проста, это 2к в минуту, или 120к в час-полтора. Что вас удивляет в таких цифрах?
Не стану никому ничего доказывать, так как с прогерским утверждением "самописное лучше", и не поспоришь.
Разный инструмент по разному удобен.
переплатил бы тринадцать баксов, и уже два дня назад имел бы на руках нужную базу, а теперь еще самостоятельно парсить придется. деловой подход :)
Ну с тем софтом это дело часа-двух, хотя практически любой крупный банк статей парсит менее чем за час.
P.S. я не дистрибьютор Content Downloader, скорее просто довольный пользователь 🚬
Если без скосов, то можно было бы просто в прокси прописать localhost:открытый порт. К сожалению программа не рассчитана на подобные конфигурации, прописано, что запускаться должно под правами администратора, и прямое интернет соединение с открытыми портами.
Мы не можем нести ответственность за некорректную работу стороннего софта (проксикап, фрикап и.д.).
Ага, та же петрушка. Я не использую прокси, точнее у меня тут на компе махинации и туннелирования всякие. В итоге - "нет свободных прокси для яндекса". В чем дело?
Билд новый сегодня только сказал.
victim добавил 15.10.2010 в 11:48
Еще такую проблему заметил. Парсится только один месяц из N выбранных. То есть мне надо за последние 5 месяцев. Проверка завершается после парсинга 4 страниц (200 первых запросов) за 1/5 месяцев.
Добрый день. Если туннелирование, пропишите вместо прокси, так как скорее всего программа не может достучаться до Яндекса.
Парсинг по месяцам только что проверил, спарсило все 5 месяцев.
Вышло обновление, билд 124
— поправлен чекер Yandex, yandex-xml (по точкам входа). Для XML достаточно ввести логин и пароль, для максимального удобства никаких ключей не требуется, программа сама их возьмет из аккаунта yandex.
— исправлен глюк с открытой статистикой LI в разделе экспресс-аудит
— добавлены новые регионы для yandex, а точнее все (хоть в данный момент Яндекс полноценно поддерживает лишь десяток-другой).
Скачать новую версию.
а когда будет доработано??
имеется такая проблема- при запуске allsubmitter программа ваша перестает парсить- пишет нет соединения..
отсюда вопрос- могут ли быть какие-то корявые пересечения в их работе? может какие то там фремворки или еще какой бред? срочно прошу ответить на вопрос
До выходных XML будет работать.
По поводу allsubmitter, так как мы не имеем никакого отношения к этой программе, не сможем ответить на этот вопрос. Могу только сказать что TrafficWeb никоим образом на работоспособность другого софта не влияет.
можно об этом подробнее, желательно на почту trafficwebru[sobaka]gmail.com
В пакетке очень не хватает полей из раздела "Структура" а точнее Название папок категории, название файлом, приходится под 200 доменов создавать 200 профилей под каждый.
Все работает, кроме определения позиций напрямую с Яндекс (но доступна функция XML, LJ, QIP). Программист был в отпуске. Сейчас идет работа над багфиксами.
Есть желание приобрести программу.
Хотел бы задать пару вопросов:
1. Правильно ли я понял насчет итогового алгоритма увеличения посещаемости:
1.1. Парсинг поисковых запросов в LiveInternet.
1.2. Определение популярности по вордстату и отброс непопулярных
1.3. Выбор из всей кучи наиболее популярных.
1.4. Определение места по данному запросу в Яндексе, и отброс тех которые уже и так в топе.
1.5. Определение релевантной страницы на своем сайте.
1.6. Составление итогового проекта вида: запрос-релевантная страница - (популярность по вордстату)
1.7. Продвижение по этому проекту внутренней оптимизацией и перелинковкой + биржами.
?
2. Чтобы отпарсить 50 000 запросов за пару-тройку дней сколько и чего понадобиться (я имею в виду количество прокси серверов, может еще чего то чего я не знаю)?
3. Чего то последние посты в данной ветке не вдохновляют. В каком состоянии сейчас программа? Все ли работает, не будет ли проблем с ней?
Все верно. Только если пункт 1.2., 1.5. критичны, то лучше не "Парсинг поисковых запросов в LiveInternet." из "По поисковым фразам", а "Экспресс аудит".
2. Учитывая этот пункт, благоразумней тогда все же парсить "По поисковым фразам", без чекеров, а уж потом обрабатывать вторым модулем программы, и парсить нужные данные, позиции, вордстат, и т.д.
Для парсинга 50 000 поисковых фраз с LI.ru таймаута 1-5 сек будет достаточно.
Для проверки работоспособности программы перед покупкой используйте Демо версию, отличие от лицензии - ограничение 20 ключевыми фразами.
не прошли модерацию полугодовалые доски объявлений с тиц 40-50, жесткая модерация стала все-таки :)
В других местах "обетованных" статистика по подобным сайтам следующая (но нет функции, чтобы ограничивать количество заявок, и приходится удалять вручную, чтобы не переборщить с приростом)
0 25.08.2010 49.8888 руб.
1 24.08.2010 50.5398 руб.
2 23.08.2010 51.1503 руб.
3 22.08.2010 50.9334 руб.
4 21.08.2010 49.2438 руб.
5 20.08.2010 46.7226 руб.
6 19.08.2010 45.1635 руб.
7 18.08.2010 42.4722 руб.
8 17.08.2010 37.8774 руб.
9 16.08.2010 31.2654 руб.
10 15.08.2010 29.4927 руб.
11 14.08.2010 26.1012 руб.
12 13.08.2010 23.1288 руб.
13 12.08.2010 10.2588 руб.
14 11.08.2010 4.7109 руб.
Может все-таки надо как-то помягче с сайтами у которых хоть какие-то пузомерки есть? Я конечно понимаю, делайте СДЛы и все такое, но!! если сайт прожил не тужил пол года, имеет пузо, чего отказывать то?
http://trafficweb.ru/minifaq/?id=11&r=378726
Прокси вписываются в настройках программы во вкладке "Прокси".
Формат ввода прокси:
user@host:port
user:pass@host:port
host:port
Поддерживаются также и скриптовые прокси, использующие хостинг как прокси-сервер:
http://site1.ru/tw2.php
http://site2.ru/tw2.php
Если вписать просто адрес к PHP-скрипту, то IP-адрес при запросе к сайтам будет использоваться первый попавшийся. Чтобы явно указать, какой из присвоенных серверу IP-адресов использовать, нужно указать его через параметр i.
Например:
http://site.ru/tw2.php?i=111.111.111.1
http://site.ru/tw2.php?i=111.111.111.2
В этом примере вписан один и тот же скрипт, но указаны разные IP-адреса (в том случае, если IP присвоены серверу). Т.е. можно считать, что это уже 2 прокси.
В окошко с проксями можно вписывать как обычные http-прокси, так и url-адреса скриптов-проксей.
Скачать скрипт:
http://trafficweb.ru/files/tw2.zip