Вернуться   Форум об интернет-маркетинге > >
Закрытая тема
 
Опции темы
Старый 26.04.2011, 11:18   #641
MyOST
Академик
 
Аватар для MyOST
 
Регистрация: 22.01.2006
Адрес: Москва | Тюмень
Сообщений: 8,997
Репутация: 810198
Отправить сообщение для MyOST с помощью ICQ Отправить сообщение для MyOST с помощью Skype™
Социальные сети

ТопикСтартер Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Цитата:
Сообщение от naf Посмотреть сообщение
А какой тайм аут не малый? Тот который я поставил указан у вас в хелпе
в хелпе у нас расчет не на такие объемы парсинга, это нужно понимать

Цитата:
Сообщение от naf Посмотреть сообщение
Я и пытаюсь понять может ли ваша программа спарсить подсказки только по нужному мне ключу, для этого и выставляю глубину 1.
может, но для таких зверских объемов не обойтись 50 проксями, возьмите хотя бы 200 хороших проксей

Цитата:
Сообщение от naf Посмотреть сообщение
На счет бана аккаунта в других системах - непонял?
ну загнать 24к слов на оценку в ссылочных агрегаторах, я не удивлюсь, если аккаунт забанят
MyOST вне форума  

Реклама
Старый 26.04.2011, 11:46   #642
Fruit
Академик
 
Аватар для Fruit
 
Регистрация: 15.07.2008
Сообщений: 1,607
Репутация: 183211

По умолчанию Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.


Последний раз редактировалось Fruit; 26.04.2011 в 13:37..
Fruit вне форума  
Старый 26.04.2011, 16:17   #643
MIND
особый
 
Аватар для MIND
 
Регистрация: 08.03.2007
Сообщений: 2,889
Репутация: 212300

По умолчанию Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

naf, не забывайте, что подсказки парсятся. Если у Вас гугл и рамблер спотыкаются на каком-то определенном слове, а не вообще блокируются (для данного ип, разумеется), то скиньте мне это слово в личку - посмотрим. Может, какой-то нестандартный ответ сервер выдает. Также возможно, что Ваши прокси-сервера вмешивают в поток данных лишние элементы (бесплатные прокси этим грешат).
MIND вне форума  
Старый 26.04.2011, 17:08   #644
юни
͏
 
Аватар для юни
 
Регистрация: 01.11.2005
Сообщений: 15,809
Репутация: 1744123

По умолчанию Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Цитата:
Сообщение от MyOST Посмотреть сообщение
на месте ПС тоже забанил давным давно такие обращения
А почему вдруг?
__________________
Всегда в наличии подсети от /22 (1024 IP-адреса) в аренду.
Напишите, чтобы обсудить объёмы и скидки.
юни вне форума  
Старый 26.04.2011, 17:20   #645
MyOST
Академик
 
Аватар для MyOST
 
Регистрация: 22.01.2006
Адрес: Москва | Тюмень
Сообщений: 8,997
Репутация: 810198
Отправить сообщение для MyOST с помощью ICQ Отправить сообщение для MyOST с помощью Skype™
Социальные сети

ТопикСтартер Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Цитата:
Сообщение от юни Посмотреть сообщение
А почему вдруг?
Потому что нагрузку нужно создавать пропорционально, а не просто загнав несколько десятков тысяч слов, далеко не всегда нужно все из них сканировать, это касается и анализа через сервисы и через ПС.

Нужно понимать, что не один такой, кто парсит
MyOST вне форума  
Старый 26.04.2011, 17:51   #646
юни
͏
 
Аватар для юни
 
Регистрация: 01.11.2005
Сообщений: 15,809
Репутация: 1744123

По умолчанию Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Цитата:
Сообщение от MyOST Посмотреть сообщение
Нужно понимать, что не один такой, кто парсит


У нас некоторые клиенты, бывает, несколько дней подряд дают Яндексу нагрузку в 10-20% от его общей ежесуточной (сколько у них там декларируется, больше 100 млн. запросов за 24 часа?). И это один клиент. А после апдейтов оне вообще стаями летают.

Ничего, как-то выживаем.
юни вне форума  
Старый 26.04.2011, 18:24   #647
MyOST
Академик
 
Аватар для MyOST
 
Регистрация: 22.01.2006
Адрес: Москва | Тюмень
Сообщений: 8,997
Репутация: 810198
Отправить сообщение для MyOST с помощью ICQ Отправить сообщение для MyOST с помощью Skype™
Социальные сети

ТопикСтартер Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Цитата:
Сообщение от юни Посмотреть сообщение
А после апдейтов оне вообще стаями летают.
летайте, а вот мы не рекомендуем

Когда присылают логи и там виден бан IP`а, как бы советовать кроме как увеличивать кол-во прокси и таймаутов - больше нечего
MyOST вне форума  
Старый 26.04.2011, 18:25   #648
юни
͏
 
Аватар для юни
 
Регистрация: 01.11.2005
Сообщений: 15,809
Репутация: 1744123

По умолчанию Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Цитата:
Сообщение от MyOST Посмотреть сообщение
кроме как увеличивать кол-во прокси
Я ж только за.
юни вне форума  
Старый 26.04.2011, 22:20   #649
Kamysh
Временно похищен НЛО
 
Регистрация: 02.08.2010
Сообщений: 382
Репутация: 53784

По умолчанию Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Цитата:
Сообщение от MyOST Посмотреть сообщение
Когда присылают логи и там виден бан IP`а, как бы советовать кроме как увеличивать кол-во прокси и таймаутов - больше нечего
А где самому мотреть это? Иной раз непонятно почему спотыкается.
__________________
Куплю сайты по медицине от 1000 до 30000 уников в сутки.
Kamysh вне форума  
Старый 26.04.2011, 23:05   #650
MyOST
Академик
 
Аватар для MyOST
 
Регистрация: 22.01.2006
Адрес: Москва | Тюмень
Сообщений: 8,997
Репутация: 810198
Отправить сообщение для MyOST с помощью ICQ Отправить сообщение для MyOST с помощью Skype™
Социальные сети

ТопикСтартер Re: Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

Цитата:
Сообщение от Kamysh Посмотреть сообщение
А где самому мотреть это? Иной раз непонятно почему спотыкается.
как минимум задать через браузер тот же запрос. если ИП забанен - то все
MyOST вне форума  
Закрытая тема

Метки
key collector , ключевые слова , продвижение сайта , семантическое ядро



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны