- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ребята, кто писал МАССОВЫЕ сервисы сбора статистики, поделитесь опытом плиз...
Нужны массовые (много запросов в сутки) рабочие алгоритмы парсинга по следующим направлениям:
1. Яндекс - выдача
2. wordstat
3. Google - выдача
4. adwords.google
5. Rambler - выдача
6. ad.rambler
Приведу решения, которые вижу. Дополните плиз и оспорьте:
1. yandex.xml (но только 1000 запросов в сутки), написано, что "Настоящее ограничение количества запросов не применяется в отношении сайтов, подключенных к Рекламной сети Яндекса согласно договору с Яндексом, предусматривающему возможность использования Сервиса". Это что значит, надо их директ для этого юзать, а другие легальные методы есть?
2. Как парсить, чтобы не банили? Может они продают доступ?
3. Банят ли за массовое обращение? Как парсить, чтобы не банили? Есть ли что-то вроде yandex.xml?
4. Вообще капча... Можно-ли как-то обойти (распознавалка)?... Может они продают доступ?
5. Банят ли за массовое обращение? Как парсить, чтобы не банили? Есть ли что-то вроде yandex.xml?
6. Слышал, что рамблер всячески извращается, чтобы не парсили автоматом...
Какие соображения? Хотелось бы конечно легальные варианты, чтобы потенциально не натыкаться на капчи и пр... Готовы даже платить...
Из (как вариант) нелегального, на сколько реализуем и перспективен вариант, с доступом роботом-парсером через прокси, которые на автомате проверяются и обновляются?
Заранее благодарю за ответы...