Key Collector - автоматизированная система анализа семантического ядра. Часть 3.

naf, не забывайте, что подсказки парсятся. Если у Вас гугл и рамблер спотыкаются на каком-то определенном слове, а не вообще блокируются (для данного ип, разумеется), то скиньте мне это слово в личку - посмотрим. Может, какой-то нестандартный ответ сервер выдает. Также возможно, что Ваши прокси-сервера вмешивают в поток данных лишние элементы (бесплатные прокси этим грешат).

А почему вдруг?

Потому что нагрузку нужно создавать пропорционально, а не просто загнав несколько десятков тысяч слов, далеко не всегда нужно все из них сканировать, это касается и анализа через сервисы и через ПС.

Нужно понимать, что не один такой, кто парсит

:)

У нас некоторые клиенты, бывает, несколько дней подряд дают Яндексу нагрузку в 10-20% от его общей ежесуточной (сколько у них там декларируется, больше 100 млн. запросов за 24 часа?). И это один клиент. А после апдейтов оне вообще стаями летают. ;)

Ничего, как-то выживаем.

летайте, а вот мы не рекомендуем

Когда присылают логи и там виден бан IP`а, как бы советовать кроме как увеличивать кол-во прокси и таймаутов - больше нечего

Я ж только за. :)

А где самому мотреть это? Иной раз непонятно почему спотыкается.

как минимум задать через браузер тот же запрос. если ИП забанен - то все

Давно не заходил, думал может что новое появилось, много времени уже прошло:) Скачал последнюю версию. И всё по старому в основном:(

Интересуют несколько вопросов:

1. Где можно отключить отображение "лишних" столбиков таблицы? - Раньше была вкладка Видимость. Теперь её нет, можно настроить только для экспорта нужные столбики.

2. Что имеется ввиду под иконками в вкладке "Заголовки таблиц" - по умолчанию их нет. Если стираю название столбца - колонка всё равно остаётся. В пдф-ной инструкции, ничего не нашёл по этому вопросу.

3. Не смог найти, парсинг числа объявлений Я.Директа, а ведь это было предложено ещё в том году, и вы обещали скоро это сделать.

4. Как сбросить найденные данные по конкретному столбцу? А то у меня неверно нашлось число морд по Яндексу, и перепроверка не работает, хотя для новых ключей пишет уже верно.