А как уменьшить количество потоков во время парсинга?
У меня такая конфигурация:
Шестиядерный проц
8 Гб оперативы
инет 25 мбит\с
Правда комп немного "засраный" и винда уже больше года стоит, поэтому иногда тупит.... но для программки может всего хватает.
А в программе есть возможность удаления дублей? Или как решить такую задачку:
Я напарсил ключевиков, добавил их и проверил позиции.
Хочу добавить еще ключевиков. Как сделать, чтобы дубли не создались, а добавились только новые? И чтобы история парсинга по старым сохранилась.
Настроил программу таким образом.
За 2 часа 15 минут проверил около 5500 запросов в двух поисковых системах (итого почти 11000). Проверял 100 позиций до первого вхождения (вхождений почти не было, т.к. сайт молодой)
В общем меня эта программка радует все больше и больше.
А теперь пожелание: Я переношу URL для групировки. Получаю список уникальных урлов. Как мне его получить в текстовом виде?
А то пришлось получать все урлы, а потом с помощью сторонних программ удалять дубли. Не очень удобно.
Я проверял в 2 ПС. Проверял 2200 запросов, потом 500 и еще остатки.
Так вот, 2200 проверилось менее получаса - это 100%. Настройки были дефолтными (без задержек и прочего). Проверялось в 10 потоков.
Я вчера проверил более 3000 запросов. Так что проблем нет.... правда бан в гугле получил, но это я настроек не делал. Сейчас настроил, надеюсь больше бана не будет.
Как дела с баном от гугла?
Главно когда руками вводишь, то все без проблем, а программа схватывает бан:(
Юзаю софтину второй день, очень нравится.... кроме бана от гугла:( Как же быть с бедою это, byterus, посоветуй!!!!!!!
sorry за офтоп, но сайт не влазит в 1024х768. Если не продадите, то подправьте.
скажи об kote, который за него отдавал 18к
Лично вам побоку, а может другим нет. Да и в поисковике больше шансов, что именно этот форум всплывет, если будут пробивать по логину, аське или еще по чему
Ну видать он тебе денег не был должен.
Но факт остается фактом: кидала.
