Друзья, у меня для вас две новости и обе хорошие ☝
Мы скорректировали политику скидок на предзаказ лицензии: 50% - всегда, 75% - в "дни удачи".
Информация о "днях удачи" заранее не офишируется и размещается на сайте jlab.io по факту.
Мучительные ожидания подходят к концу: выход Бета-версии JLAB SEO Spider намечен на вторую половину октября!
ivan01, нет не на больное. Просто умиляют ответы вида "за 5 минут".
Проверка бана за превышение запросов или подозрительные запросы;
Ввод капчи в случае "бана" IP адреса;
Перебор всех страниц выдачи для поиска запросов, которые не в ТОПе;
Сравнение текущих позиций с предыдущим анализом;
Сохранение форматированных результатов в файл.
...
Вряд ли вам хватит 5 минут на достойную реализацию.
Задача специфицеская и лучше разделить ее на части:
1. собрать все домены, на которые ссылаются (я так понимаю, речь про ссылки с авторитетных ресурсов, например: википедия)
2. удалить дубли
3. проверить список доменов на досутпность регистрации
Считаю, что как сервис услуга не будет востребована.
ant_key, оно то конечно быстрее получится, но нужно ли из пушки по воробьям стрелять? Такую задачу проще решить способом, который отнимет меньше времени.
Очевидно же - возмездие )
На жалобу одного пользователя скорее всего начхать, а на репутацию вряд ли.
Тоже под Яндекс и тоже бесплатно: http://tobbot.com/modules/yandex-parser/
Мой опыт показал обратное: с паузами и без прокси хорошо парсится в 1 поток. Прокси же позволят увеличить скорость за счет доп. числа потоков.
Но сдается мне, что число сайтов из топа с открытой статой будет ничтожно мало.
Можно регнуть ботом (модуль Accounts Yandex), были бы соксы.
Пожизненная лицензия сейчас или лицензия на 1 год, но потом? 🙄
