- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
bimcom, XML не всегда отдаёт результаты на больших объёмах (после 500-600 запросов вылезает "ничего не найдено").
Пример запроса можно увидеть? после которого такая фигня?
У меня такое только иногда по ночам было.
bimcom, пример вряд ли уже дам, но, поверьте, при единичном случае я не стал бы писать об этом - речь идёт о регулярно повторяющемся результате (возникающем при обработке миллионов запросов).
Можно подробней?
Юни, раз я даже ссылки на прогу не дал, значит найти её элементарно просто)))
http://yandex.ru/yandsearch?text=%D0%BD%D0%B5%D0%B3%D1%80%D0%BE%D0%B8%D0%BC%D0%B8%D1%82%D0%B0%D1%82%D0%BE%D1%80&lr=213&stpar2=%2Fh1%2Ftm6%2Fs1&stpar4=%2Fs1&stpar1=%2Fu1&stpar3=%2Fm1%2Ftc13%2Fnc1
Str256, ну, это тоже не совсем то... я не вижу способа достичь приемлимой скорости работы с этой программой, когда речь идёт о больших объёмах данных.
Str256, ну, это тоже не совсем то... я не вижу способа достичь приемлимой скорости работы с этой программой, когда речь идёт о больших объёмах данных.
Вы ж об алгоритме спрашивали, программа это частность, вариант реализации. Можно ведь эмулировать 1000 браузеров с сотни IP.
Можно ведь эмулировать 1000 браузеров с сотни IP
Вот-вот. Здесь уже мощностей может не хватить.
Впрочем, с автором связался, спасибо.
Вы ж об алгоритме спрашивали, программа это частность, вариант реализации. Можно ведь эмулировать 1000 браузеров с сотни IP.
Да как раз прога Кседант (многопоточная версия) может подойти.
На сайте автора есть видео, как он запускал несколько копий и поисковик (правда в примере был Гугл) воспринимал их как разные браузеры...
Тут есть видео
Пока оптимальный вариант, который я вижу - проверять через XML и не найденные перепроверять через выдачу с сотен разных подсетей ip. Негроиммитатор для яндекса не поможет, т.к. и реальные пользователи постоянно видят капчу после нескольких запросов подряд с одного ip.
А с распознаванием капчи всё уныло, ненадёжно и ресурсоёмко?
Zonk, а с вордстатом как быть?