- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Понравилась программа. Ещё было бы неплохо добавить проверку на наличие в DMOZ.
Я готов добавить все, что угодно, если будут спецификации.
Добавил наброски фильтров. Их можно использовать для выделения доменов и для фильтрации при загрузке списков.
Вид редактора фильтров:
Количество полей, по которым возможна фильтрация, пока не велико - только даты и символы домена, но немного позднее добавлю все возможные.
Сейчас, включив фильтрацию, можно смело скачивать списки доменов с r01.ru или reghouse.ru.
Для платных прокси (и при больших списках) объём этой информации может вылиться в немалую сумму.
А в чем преимущество использования платных прокси?
Я хочу сделать возможность читать whois данные через http, что даст возможность использовать http-прокси, и позволит увеличить скорость обработки списков в разы. Например, сейчас по протоколу whois можно обработать 30 доменов в минуту из-за ограничений whois-сервера. При использовании http скорость увеличится до 30xN, где N - количество прокси.
Я так понимаю, что ты используешь платные прокси, и это не удобное решение для тебя?
А в чем преимущество использования платных прокси?
ПС частно банят ip за большое количество запросов (а в программе уже сейчас немало плагинов).
это не удобное решение для тебя?
Наоборот (у меня собственный сервис).
Кстати, вот с этим получится наладить интеграцию? Список функций - внизу на главной.
ПС частно банят ip за большое количество запросов (а в программе уже сейчас немало плагинов).
Может быть будет более правильным иметь раздельные списки прокси для проверки whois и для проверки Yandex и Google.
Наоборот (у меня собственный сервис).
Кстати, вот с этим получится наладить интеграцию? Список функций - внизу на главной.
С каким именно функционалом нужна интеграция?
иметь раздельные списки
А в чём будет заключаться преимущество такого подхода?
С каким именно функционалом нужна интеграция?
Тут мне трудно сказать. Чтобы софт нормально работал. :) Проще будет поговорить непосредственно с тамошними технарями.
А в чём будет заключаться преимущество такого подхода?
Для whois можете использовать бесплатные, поскольку блокировку я контролирую самостоятельно, а для Y и G можете использования платные.
А сейчас прокси используются для запросов к каким сервисам? Работа ведётся синхронно или независимо (к примеру, если я запускаю 20 потоков, то они будут в работе до тех пор, пока не проверятся все выбранные параметры)?
А сейчас прокси используются для запросов к каким сервисам?
К плагинам и к ряду whois серверов, не отдающих данные по протоколу whois.
Работа ведётся синхронно или независимо (к примеру, если я запускаю 20 потоков, то они будут в работе до тех пор, пока не проверятся все выбранные параметры)?
Не совсем ясен вопрос. Для каждого домена назначается свой поток. Внутри потока данные читаются последовательно, сначала whois, затем плагины (если они не отключены в меню). Если происходит чтение через http, то при каждом отдельном запросе выбирается случайный прокси (если есть прокси в списке и разрешено использование прокси).
Внутри потока данные читаются последовательно
А можно реализовать одновременное чтение? И добавить поддержку в 50 и 100 потоков?