Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Обновление 1.4

В целом, 2 из 4 этапов кратно ускорены, а также ошибочное определение занятости сведено практически к нулю.

Нововведения:

+ Первичка ускорена во много раз, за секунду пробивается 1-4 домена. Ранее запрашивались хидеры серверов, теперь IP-адрес, что отрабатывает значительно быстрее

+ Ускорен парсинг WHOIS, 10 доменов за 1-2 секунды. Нестабильно чекаются info и org, но домены никуда не деваются, если не пробился, то перекладывается в лист ожидания повторной проверки. Фикс через 1-2 дня.

+ В связи с изменениями в структуре базы (поле перечисления проектов, в которых есть домен), при обновлении домены из версии скрипта 1.3 "чинятся", привязываясь к проектам. Новые домены привязываются штатно, в процессе парсинга.

+ В настройках новая опция, что делать с импортированными (собственными доменами). Варианты: штатно проверять, начать сразу с WHOIS или они априори свободны и сразу чекать на DA PA.

Производительность:

+ внесены изменения в структуру базы, за счет этих изменений ускорена проверка первички, whois, moz и листа ожидания проверки первички

+ кратно ускорена фильтрация свободных доменов по вхождениям

Фиксы ошибок:

+ исправлена ошибка при обновлении базы (при проверке существования поля с целью его добавления в случае отсутствия скрипт спотыкался об ошибку базы)

+ счетчик остатка для первички, whois и moz возвращен в рамки проекта (ранее "глобальная очередь" по всем доменам)

Установка: заменить файлы из архива в корне, запустить обновление из меню.

Это сообщение последнее в этой теме. После выхода обновы №5 будет создана новая, более презентабельная, лишенная сумбура, тема.

Не понял, скрипт парсит просто листинги expired доменов и проверяет на занятость? Не очень ясно, в чем отличие от любого сервиса с абонентской платой, в части поиска дропов. Там тоже отфильтровать по DA можно, по ключам и также видно какие свободны.

Ключам в домене? Вхождениям?

Ответа так и не последовало. Такой вопрос звучит не впервые.

Ответ: поиск идёт по архиву, по вхождению в тайтл. Если тайтл релевантен запросу, то каковы шансы что сайт в целом тематичен? В случае варианта из вопроса в цитате, это тоже метод, хоть вы и ограничиваете себя одними вхождениями.

Новую тему стартовать рано, появились новые планы внедрения, потому это позже, а пока продолжаю в этом топике.

Обнова 1.5

+ Парсинг архива в 5 потоков против одного ранее

+ Количество потоков при пробиве первички вынесено в настройки, у меня стоит 20. Можно до 50, как ваш сервер потянет.

+ Заменён источник whois на более шустрый, а также многопоток к нему (4 потока). В случае бана на нём (из 10 человек выхватил один) можно переключить в настройках на резервный, но однопоточный. При проверке по whois первыми чекаются зоны com и net как наиболее быстрые.

+ Отображение колонок, как и обещано ранее, теперь можно настроить и скрыть не интересующие вас данные.

+ Торможение при открытии проекта, когда в нем много ключей и все они отображаются одной страницей, исправлено. Постраничное разбиение, 100 ключей на странице. Первыми теперь ключи, которые не собирались, чтобы не листать в случае остановки сбора и возврата к нему позже.

+ Сортировка списка доменов по адресу (алфавит), DA, PA, moz, semrush и количеству снимков в архиве. Пока что не работает при фильтрации по вхождению в домен.

+ В 10, а может и в 100 раз ускорено удаление проекта. Разом его удалить нельзя, чтобы не потерялись пересекающиеся с другими проектами домены.

Текущий лист ToDo:

= Проверка наличия домена в индексе Гугла

= и Яндекса

= Съем данных ahrefs по их API (нужен акк)

= Проверка наличия в прошлом счетчика liveinternet

= Импорт собственного списка доменов из файла, импорт ключей из файла

Сама обнова в канале в телеге. Заменить файлы, нажать "Обновить" в меню.

---------- Добавлено 30.04.2019 в 04:19 ----------

--------Обновленные тесты-----

444 ключа, ключи РУ, основная масса доменов РУ. Сфера Гэмблинг Ру.

Старт в 2:08

Сбор архива завершен в 2:12, занял 4 минуты, по минуте на 100 ключей

Проверка первички в 20 потоков, старт в 2:12, очередь 2052 домена. Завершено в 2:15, 3 минуты, по минуте на 680 доменов.

Проверка whois, старт в 2:15, очередь 700 доменов. Завершено в 2:17. По минуте на 350 доменов.

Итого с 444 ключей вышло 2052 домена, свободными из которых оказалось 462 доменов.

481 ключ, ключи EN, основная масса доменов com/net. Сфера Гэмблинг En.

Старт в 2:21

Сбор архива завершен в 2:33, занял 12 минут, по минуте на 40 ключей. Скорость отличается от первого теста по 3 причинам: результатов в 2.5 раза больше, более длинные доменные имена и наличие элементов других проектов в базе.

Проверка первички в 20 потоков, старт в 2:33, очередь 4736 доменов. Завершено в 2:47, 14 минут, по минуте на 340 доменов.

Проверка whois, старт в 2:47, очередь 1800 доменов. Завершено в 2:52. По минуте на 360 доменов.

Итого с 481 ключа вышло 4736 домена, свободными из которых оказалось 1287 доменов.

По вебархиву имеется в виду? Или свой архив сайта выкачивается?

В вебархиве.

Не позднее, чем в понедельник, будет большое обновление 1.6. Это последняя возможность взять софт за текущую цену. Как выйдет, 170$ -> 250$.

Т.к. в софте много нововведений, а эта тема создавалась с целью собрать предзаказы, целесообразно создать новую, более презентабельную и без сумбура. Но у форума временные трудности с приёмом оплаты, а значит и новой темы мне не создать. Публикую сюда стартпост для неё, а как приём оплаты оживёт, продублирую его в новую.

WebBear - сборщик дроп-доменов

Текущее количество пользователей: 10+, в т.ч. seo-агентства, работающие на зарубежный рынок.

Назначение скрипта:

- поиск дропов по ключевым словам в ВэбАрхиве для PBN, доров и прочего массового сайтоизготовления

- залив собственного списка доменов (список освободившихся, например)

- домены под склейку с ссылочным портфелем

- поиск дропов для выемки контента с архива

География: любая, определяется языком ключевых запросов. Америка, Россия, Китай, Латвия, - любая георграфия.

Поддерживаемые зоны: bg, biz, com, com.ua, co.uk, de, dk, ee, eu, fi, info, lt, lv, name, net, no, org, pl, ro, ru, se, su, ua, uk, us. По надобности расширяемо.

Код: открытый, обновления бесплатны.

Требования к системе: Apache, Mysql, PHP от 5.4. Mysqli, cURL. Установка входит в стоимость. Работает на CPU 1 Ghz, 500 Mb RAM. Оптимально 2-4 Gb оперативы.

Собираемые данные:

- DA, PA (moz); - не более DA 30, выше не встречаются.

- количество ссылок по MOZ и SemRush

- Alexa rank

- года присутствия в архиве, количество снимков в нём

- Яндекс.ИКС, (не более ИКС 30, выше забирают с аукциона)

- Количество страниц в индексе Яндекса

- Наличие счётчика Liveinternet (отсутствует, закрытый, открытый)

Краткое пояснение по методам работы, сбор по 250 производным ключам от best caninos, casinos rating и top casinos:

1. Загружаются тематические ключи, запускается сбор

2. Парсится ВэбАрхив, до 50 доменов на ключ.

3. Первичка - проверка ответов серверов доменов, если ответ есть, то очевидно, что домен занят. В ином случае, домен получает пометку "возможно свободен".

4. Возможно свободные домены пробиваются по whois'у, в итоговую таблицу падают только дропы.

5. Последним этапом устанавливаем качество дропа, снимая показатели по MOZ (DA, PA, ссылочное).

Краткое пояснение по методам работы, импорт собственного списка на примере освободившихся доменов ru за 19 июня 2019:

1. Создаем проект, идем в "домены", выбираем "импорт доменов", загружаем список.

2. Предварительно в настройках можно установить что собственные домены по-умолчанию свободны, чтобы сэкономить время на этапах первичной проверки и пробива по whois.

3. Собираем данные с MOZ

4. Проверяем Яндекс.ИКС.

5. Ищем открытые счётчики на li.ru

И прочее, прочее, прочее. Софт обслуживает разные интересы. Основное, конечно, дропчики под бурж для PBN, но есть и другое применение.

К оплате принимаются WMZ, WMR, ЯД, PayPal, Qiwi, VISA. Цена софта 250$. Если вы заинтересовались, но желаете сперва оценить качество результатов, то можете заказать пакет №10 из этой темы /ru/forum/1017200, сбор ведется предлагаемым софтом.

Оплата -> установка или передача. Обновления выкладываются в телеге, производятся заменой файлов и последующим кликом на обновление в софте. Поддержка там же.

telegram: @asdf2727

mail: asdf27@ya.ru

мобила по запросу.

Расширение поддерживаемых зон:

[0] => mn

[1] => as

[2] => sy

[3] => xn--p1ai

[4] => ci

[5] => travel

[6] => me

[7] => md

[8] => ug

[9] => sh

[10] => pl

[11] => asia

[12] => io

[13] => it

[14] => tv

[15] => gs

[16] => nu

[17] => ag

[18] => ca

[19] => name

[20] => ma

[21] => je

[22] => nf

[23] => ee

[24] => hn

[25] => gi

[26] => us

[27] => ws

[28] => nc

[29] => org

[30] => cn

[31] => in.ua

[32] => tw

[33] => tk

[34] => pw

[35] => xxx

[36] => mobi

[37] => de

[38] => ua

[39] => sk

[40] => info

[41] => com.ua

[42] => uy

[43] => sn

[44] => jp

[45] => by

[46] => so

[47] => uk

[48] => tl

[49] => cc

[50] => tm

[51] => com

[52] => gl

[53] => aero

[54] => fo

[55] => no

[56] => gy

[57] => ve

[58] => bj

[59] => dk

[60] => mo

[61] => tel

[62] => la

[63] => cz

[64] => af

[65] => ax

[66] => biz

[67] => am

[68] => pe

[69] => kz

[70] => sg

[71] => fi

[72] => nl

[73] => cl

[74] => fr

[75] => co

[76] => be

[77] => eu

[78] => lt

[79] => vc

[80] => hu

[81] => uz

[82] => iq

[83] => hk

[84] => net

[85] => pro

[86] => st

[87] => in

[88] => sb

[89] => tn

[90] => ng

[91] => ms

[92] => im

[93] => su

[94] => ru

[95] => om

[96] => gg

[97] => pr

[98] => kr

[99] => sc

[100] => mg

[101] => ac

[102] => lv

[103] => nz

[104] => se

[105] => cat

[106] => mx

[107] => bg

[108] => cm

[109] => gd

[110] => co.uk

[111] => ro

[112] => dm

Новую тему по-прежнему открыть нельзя, продолжаем здесь.

Готовится обнова 1.9, вот что сделано по ней на данный момент:

- Возможность скрыть колонку заголовков в настройках

- Разгружена страница настроек, разбита на 3 раздела

- Количество потоков при парсинге архива в настройках

- в списке доменов после ID две кнопки-иконки: пометить домен плохим или хорошим. Ajax со временем.

- собственные колонки-ссылки в списке доменов. Переходите на используемые сервисы с подставленным доменом для ускорения анализа.

- ссылка при клике на домен в настройках

Много в анонсах не было, сообщалось об 1.6, а на пороге уже 1.9. По её готовности будет обновлен мануал, в котором можно будет изучить всё детально, а также несколько пошаговых руководств на конкретных примерах.

===============================================

Совсем немного осталось до 1.9, очередной анонс. Функция изрядно заняла времени, потому ей отдельное внимание

ИСТОРИЯ ДОМЕНА ПО АРХИВУ

===============================================

Принцип работы:

1. Собираются года присутствия в архиве

2. Собираются даты снимков

3. На каждую дату выдёргивается title страницы

3.1 Если был редирект, это учитывается.

4. Снимки группируются по title. Например: "с 11.05.2012 по 21.12.2013 Купить косметику оптом".

Для запуска сбора истории в списке доменов добавлена колонка "WH".

Теперь важное сообщение: когда собираются тайтлы, загребается вся страница. Подумайте, что вам дополнительно интересно знать о домене. Например, был ли на нем код РСЯ или Google Adsense.