- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Дубли - да, их фильтрация нужна обязательно. Что касается прокси и многопоточности, тут по своему опыту могу сказать, что они не нужны. За несколько месяцев парсинга(таймаут 5сек) IP моего сервера до сих пор не забанили, а потоки просто не имеют смысла, так как xml фид, парсинг которого идет, обновляется не при каждом запросе. Запросто может 5-10 секунд не меняться, выяснено опытным путем.
Сколько раз проверял, при каждом запросе разные кеи. Что я не так делаю?
Сколько раз проверял, при каждом запросе разные кеи. Что я не так делаю?
Получаю данные в 2 потока, каждый поток делает подряд около 15 запросов. Парсер не обнаружил ни одной одинаковой пары ключей в каждой 20-ке. Судя по статистике http://stat.yandex.ru/stats.xml?ReportID=-225&ProjectID=1 сервис поиска посещает 15 миллионов человек в день, если хотя бы один вводит поисковый запрос, то это около 173 запросов в секунду, соответственно чтобы получить совпадения в ответах last20, необходимо в одну секунду сделать около 10 запросов с грубой поправкой на время пинга.
Бесплатных программ/скриптов предостаточно, но по моему все однопоточные.
А не подскажешь конкретных названий?
Сваял парсер кейвордов из прямого эфира Яндекса.
Часов за 7 парсинга получилось 637.803 уникальных кейвордов (или 846.184 уникальных по кейворду плюс стата)
Нужны ли будут кому-нибудь такие кейворды? Нужны ли базы за сутки, или за неделю?
Если спрос будет то собираться будет большее количество.
Выслушаю предложения.
Для теста то что собралось за примерно 7 часов. http://www.mediafire.com/?w8zccl8vh71w902 - yandex_efir.rar - 10 MB
У меня есть парсер, где-то успел халяву давно урвать, но до сих пор пашет. В основном идет сплошной мусор, запросы совершенно разношерстные, потом еще сортировать весь этот бардак... в общем не оценил пользы совсем.
Кстати прога если кому нужна - стучитесь в личку.
У меня есть парсер, где-то успел халяву давно урвать, но до сих пор пашет. В основном идет сплошной мусор, запросы совершенно разношерстные, потом еще сортировать весь этот бардак... в общем не оценил пользы совсем.
Кстати прога если кому нужна - стучитесь в личку.
А зачем сортировать? Собирай базу и делай себе выборки:)
Все упирается в прокси. Где взять хорошие прокси? Юзал одну декстопную прогу, там даже с интервалом 10 секунд бан через пару часов. Также интересуют рабочие скрипты.
Все упирается в прокси. Где взять хорошие прокси? Юзал одну декстопную прогу, там даже с интервалом 10 секунд бан через пару часов. Также интересуют рабочие скрипты.
с правильным подходом и на паблик проксях отлично парсит
с правильным подходом и на паблик проксях отлично парсит
C правильным подходом за несколько месяцев айпи не банится.
---------- Добавлено 04.11.2012 в 10:17 ----------
Сколько раз проверял, при каждом запросе разные кеи. Что я не так делаю?
Вручную смотрели?
Я автоматизированно проверял повторы, специально написал скрипт для аналитики. Даже при таймауте в 5 сек они иногда бывают. А при таймауте в 1 секунду они очень часто.
А что там за цифры в скобках передаются?
А что там за цифры в скобках передаются?
Количество найденных результатов по данному запросу.