Вернуться   Форум об интернет-маркетинге > > >
Ответ
 
Опции темы
Старый 14.04.2019, 13:22   #11
GoRSS
Профессор
 
Аватар для GoRSS
 
Регистрация: 29.07.2013
Сообщений: 860
Репутация: 90734

ТопикСтартер Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Сегодня-завтра будет обновление 1.4. Цена возвращена на уровень 170$, повышение отложено.
GoRSS вне форума   Ответить с цитированием

Реклама
Старый 17.04.2019, 00:16   #12
GoRSS
Профессор
 
Аватар для GoRSS
 
Регистрация: 29.07.2013
Сообщений: 860
Репутация: 90734

ТопикСтартер Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Обновление 1.4

В целом, 2 из 4 этапов кратно ускорены, а также ошибочное определение занятости сведено практически к нулю.

Нововведения:
+ Первичка ускорена во много раз, за секунду пробивается 1-4 домена. Ранее запрашивались хидеры серверов, теперь IP-адрес, что отрабатывает значительно быстрее
+ Ускорен парсинг WHOIS, 10 доменов за 1-2 секунды. Нестабильно чекаются info и org, но домены никуда не деваются, если не пробился, то перекладывается в лист ожидания повторной проверки. Фикс через 1-2 дня.
+ В связи с изменениями в структуре базы (поле перечисления проектов, в которых есть домен), при обновлении домены из версии скрипта 1.3 "чинятся", привязываясь к проектам. Новые домены привязываются штатно, в процессе парсинга.
+ В настройках новая опция, что делать с импортированными (собственными доменами). Варианты: штатно проверять, начать сразу с WHOIS или они априори свободны и сразу чекать на DA PA.

Производительность:
+ внесены изменения в структуру базы, за счет этих изменений ускорена проверка первички, whois, moz и листа ожидания проверки первички
+ кратно ускорена фильтрация свободных доменов по вхождениям

Фиксы ошибок:
+ исправлена ошибка при обновлении базы (при проверке существования поля с целью его добавления в случае отсутствия скрипт спотыкался об ошибку базы)
+ счетчик остатка для первички, whois и moz возвращен в рамки проекта (ранее "глобальная очередь" по всем доменам)

Установка: заменить файлы из архива в корне, запустить обновление из меню.

Это сообщение последнее в этой теме. После выхода обновы №5 будет создана новая, более презентабельная, лишенная сумбура, тема.
GoRSS вне форума   Ответить с цитированием
Старый 17.04.2019, 13:53   #13
master_jeday
Disallow: /robots.txt
 
Аватар для master_jeday
 
Регистрация: 15.05.2010
Адрес: Internet
Сообщений: 2,855
Репутация: 250333
Отправить сообщение для master_jeday с помощью ICQ Отправить сообщение для master_jeday с помощью Skype™

По умолчанию Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Не понял, скрипт парсит просто листинги expired доменов и проверяет на занятость? Не очень ясно, в чем отличие от любого сервиса с абонентской платой, в части поиска дропов. Там тоже отфильтровать по DA можно, по ключам и также видно какие свободны.
__________________
Нужны сайты с доходом? Продаю тут
Дорвеи на заказ с гарантией трафика
master_jeday вне форума   Ответить с цитированием
Старый 17.04.2019, 14:20   #14
GoRSS
Профессор
 
Аватар для GoRSS
 
Регистрация: 29.07.2013
Сообщений: 860
Репутация: 90734

ТопикСтартер Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Цитата:
Сообщение от master_jeday Посмотреть сообщение
Там тоже отфильтровать по DA можно, по ключам и также видно какие свободны.
Ключам в домене? Вхождениям?
GoRSS вне форума   Ответить с цитированием
Старый 30.04.2019, 03:09   #15
GoRSS
Профессор
 
Аватар для GoRSS
 
Регистрация: 29.07.2013
Сообщений: 860
Репутация: 90734

ТопикСтартер Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Цитата:
Сообщение от master_jeday Посмотреть сообщение
Не понял, скрипт парсит просто листинги expired доменов и проверяет на занятость? Не очень ясно, в чем отличие от любого сервиса с абонентской платой, в части поиска дропов. Там тоже отфильтровать по DA можно, по ключам и также видно какие свободны.
Ответа так и не последовало. Такой вопрос звучит не впервые.
Ответ: поиск идёт по архиву, по вхождению в тайтл. Если тайтл релевантен запросу, то каковы шансы что сайт в целом тематичен? В случае варианта из вопроса в цитате, это тоже метод, хоть вы и ограничиваете себя одними вхождениями.

Новую тему стартовать рано, появились новые планы внедрения, потому это позже, а пока продолжаю в этом топике.

Обнова 1.5

+ Парсинг архива в 5 потоков против одного ранее
+ Количество потоков при пробиве первички вынесено в настройки, у меня стоит 20. Можно до 50, как ваш сервер потянет.
+ Заменён источник whois на более шустрый, а также многопоток к нему (4 потока). В случае бана на нём (из 10 человек выхватил один) можно переключить в настройках на резервный, но однопоточный. При проверке по whois первыми чекаются зоны com и net как наиболее быстрые.
+ Отображение колонок, как и обещано ранее, теперь можно настроить и скрыть не интересующие вас данные.
+ Торможение при открытии проекта, когда в нем много ключей и все они отображаются одной страницей, исправлено. Постраничное разбиение, 100 ключей на странице. Первыми теперь ключи, которые не собирались, чтобы не листать в случае остановки сбора и возврата к нему позже.
+ Сортировка списка доменов по адресу (алфавит), DA, PA, moz, semrush и количеству снимков в архиве. Пока что не работает при фильтрации по вхождению в домен.
+ В 10, а может и в 100 раз ускорено удаление проекта. Разом его удалить нельзя, чтобы не потерялись пересекающиеся с другими проектами домены.

Текущий лист ToDo:
= Проверка наличия домена в индексе Гугла
= и Яндекса
= Съем данных ahrefs по их API (нужен акк)
= Проверка наличия в прошлом счетчика liveinternet
= Импорт собственного списка доменов из файла, импорт ключей из файла

Сама обнова в канале в телеге. Заменить файлы, нажать "Обновить" в меню.

---------- Добавлено 30.04.2019 в 04:19 ----------

--------Обновленные тесты-----

444 ключа, ключи РУ, основная масса доменов РУ. Сфера Гэмблинг Ру.
Старт в 2:08
Сбор архива завершен в 2:12, занял 4 минуты, по минуте на 100 ключей
Проверка первички в 20 потоков, старт в 2:12, очередь 2052 домена. Завершено в 2:15, 3 минуты, по минуте на 680 доменов.
Проверка whois, старт в 2:15, очередь 700 доменов. Завершено в 2:17. По минуте на 350 доменов.
Итого с 444 ключей вышло 2052 домена, свободными из которых оказалось 462 доменов.


481 ключ, ключи EN, основная масса доменов com/net. Сфера Гэмблинг En.
Старт в 2:21
Сбор архива завершен в 2:33, занял 12 минут, по минуте на 40 ключей. Скорость отличается от первого теста по 3 причинам: результатов в 2.5 раза больше, более длинные доменные имена и наличие элементов других проектов в базе.
Проверка первички в 20 потоков, старт в 2:33, очередь 4736 доменов. Завершено в 2:47, 14 минут, по минуте на 340 доменов.
Проверка whois, старт в 2:47, очередь 1800 доменов. Завершено в 2:52. По минуте на 360 доменов.
Итого с 481 ключа вышло 4736 домена, свободными из которых оказалось 1287 доменов.
GoRSS вне форума   Ответить с цитированием
Старый 08.05.2019, 18:06   #16
master_jeday
Disallow: /robots.txt
 
Аватар для master_jeday
 
Регистрация: 15.05.2010
Адрес: Internet
Сообщений: 2,855
Репутация: 250333
Отправить сообщение для master_jeday с помощью ICQ Отправить сообщение для master_jeday с помощью Skype™

По умолчанию Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Цитата:
Сообщение от GoRSS Посмотреть сообщение
поиск идёт по архиву, по вхождению в тайтл.
По вебархиву имеется в виду? Или свой архив сайта выкачивается?
master_jeday вне форума   Ответить с цитированием
Старый 08.05.2019, 19:40   #17
GoRSS
Профессор
 
Аватар для GoRSS
 
Регистрация: 29.07.2013
Сообщений: 860
Репутация: 90734

ТопикСтартер Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Цитата:
Сообщение от master_jeday Посмотреть сообщение
По вебархиву имеется в виду? Или свой архив сайта выкачивается?
В вебархиве.
GoRSS вне форума   Ответить с цитированием
Старый 18.05.2019, 01:41   #18
GoRSS
Профессор
 
Аватар для GoRSS
 
Регистрация: 29.07.2013
Сообщений: 860
Репутация: 90734

ТопикСтартер Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Не позднее, чем в понедельник, будет большое обновление 1.6. Это последняя возможность взять софт за текущую цену. Как выйдет, 170$ -> 250$.
GoRSS вне форума   Ответить с цитированием
Старый 20.06.2019, 03:27   #19
GoRSS
Профессор
 
Аватар для GoRSS
 
Регистрация: 29.07.2013
Сообщений: 860
Репутация: 90734

ТопикСтартер Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Т.к. в софте много нововведений, а эта тема создавалась с целью собрать предзаказы, целесообразно создать новую, более презентабельную и без сумбура. Но у форума временные трудности с приёмом оплаты, а значит и новой темы мне не создать. Публикую сюда стартпост для неё, а как приём оплаты оживёт, продублирую его в новую.

WebBear - сборщик дроп-доменов

Текущее количество пользователей: 10+, в т.ч. seo-агентства, работающие на зарубежный рынок.

Назначение скрипта:
- поиск дропов по ключевым словам в ВэбАрхиве для PBN, доров и прочего массового сайтоизготовления
- залив собственного списка доменов (список освободившихся, например)
- домены под склейку с ссылочным портфелем
- поиск дропов для выемки контента с архива

География: любая, определяется языком ключевых запросов. Америка, Россия, Китай, Латвия, - любая георграфия.

Поддерживаемые зоны: bg, biz, com, com.ua, co.uk, de, dk, ee, eu, fi, info, lt, lv, name, net, no, org, pl, ro, ru, se, su, ua, uk, us. По надобности расширяемо.

Код: открытый, обновления бесплатны.

Требования к системе: Apache, Mysql, PHP от 5.4. Mysqli, cURL. Установка входит в стоимость. Работает на CPU 1 Ghz, 500 Mb RAM. Оптимально 2-4 Gb оперативы.

Собираемые данные:
- DA, PA (moz); - не более DA 30, выше не встречаются.
- количество ссылок по MOZ и SemRush
- Alexa rank
- года присутствия в архиве, количество снимков в нём
- Яндекс.ИКС, (не более ИКС 30, выше забирают с аукциона)
- Количество страниц в индексе Яндекса
- Наличие счётчика Liveinternet (отсутствует, закрытый, открытый)

Краткое пояснение по методам работы, сбор по 250 производным ключам от best caninos, casinos rating и top casinos:
1. Загружаются тематические ключи, запускается сбор
2. Парсится ВэбАрхив, до 50 доменов на ключ.
3. Первичка - проверка ответов серверов доменов, если ответ есть, то очевидно, что домен занят. В ином случае, домен получает пометку "возможно свободен".
4. Возможно свободные домены пробиваются по whois'у, в итоговую таблицу падают только дропы.
5. Последним этапом устанавливаем качество дропа, снимая показатели по MOZ (DA, PA, ссылочное).


Краткое пояснение по методам работы, импорт собственного списка на примере освободившихся доменов ru за 19 июня 2019:
1. Создаем проект, идем в "домены", выбираем "импорт доменов", загружаем список.
2. Предварительно в настройках можно установить что собственные домены по-умолчанию свободны, чтобы сэкономить время на этапах первичной проверки и пробива по whois.
3. Собираем данные с MOZ
4. Проверяем Яндекс.ИКС.
5. Ищем открытые счётчики на li.ru

И прочее, прочее, прочее. Софт обслуживает разные интересы. Основное, конечно, дропчики под бурж для PBN, но есть и другое применение.

К оплате принимаются WMZ, WMR, ЯД, PayPal, Qiwi, VISA. Цена софта 250$. Если вы заинтересовались, но желаете сперва оценить качество результатов, то можете заказать пакет №10 из этой темы https://searchengines.guru/showthread.php?t=1017200, сбор ведется предлагаемым софтом.
Оплата -> установка или передача. Обновления выкладываются в телеге, производятся заменой файлов и последующим кликом на обновление в софте. Поддержка там же.

telegram: @asdf2727
mail: asdf27@ya.ru
мобила по запросу.
GoRSS вне форума   Ответить с цитированием
Сказали спасибо 2 пользователей:
Старый 23.06.2019, 14:56   #20
GoRSS
Профессор
 
Аватар для GoRSS
 
Регистрация: 29.07.2013
Сообщений: 860
Репутация: 90734

ТопикСтартер Re: Поиск контента по ключу + дропы с DA / PA по тематике | Pre-sale -40%

Расширение поддерживаемых зон:

[0] => mn
[1] => as
[2] => sy
[3] => xn--p1ai
[4] => ci
[5] => travel
[6] => me
[7] => md
[8] => ug
[9] => sh
[10] => pl
[11] => asia
[12] => io
[13] => it
[14] => tv
[15] => gs
[16] => nu
[17] => ag
[18] => ca
[19] => name
[20] => ma
[21] => je
[22] => nf
[23] => ee
[24] => hn
[25] => gi
[26] => us
[27] => ws
[28] => nc
[29] => org
[30] => cn
[31] => in.ua
[32] => tw
[33] => tk
[34] => pw
[35] => xxx
[36] => mobi
[37] => de
[38] => ua
[39] => sk
[40] => info
[41] => com.ua
[42] => uy
[43] => sn
[44] => jp
[45] => by
[46] => so
[47] => uk
[48] => tl
[49] => cc
[50] => tm
[51] => com
[52] => gl
[53] => aero
[54] => fo
[55] => no
[56] => gy
[57] => ve
[58] => bj
[59] => dk
[60] => mo
[61] => tel
[62] => la
[63] => cz
[64] => af
[65] => ax
[66] => biz
[67] => am
[68] => pe
[69] => kz
[70] => sg
[71] => fi
[72] => nl
[73] => cl
[74] => fr
[75] => co
[76] => be
[77] => eu
[78] => lt
[79] => vc
[80] => hu
[81] => uz
[82] => iq
[83] => hk
[84] => net
[85] => pro
[86] => st
[87] => in
[88] => sb
[89] => tn
[90] => ng
[91] => ms
[92] => im
[93] => su
[94] => ru
[95] => om
[96] => gg
[97] => pr
[98] => kr
[99] => sc
[100] => mg
[101] => ac
[102] => lv
[103] => nz
[104] => se
[105] => cat
[106] => mx
[107] => bg
[108] => cm
[109] => gd
[110] => co.uk
[111] => ro
[112] => dm
GoRSS вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны