WebBear 2 - поиск дропов по тематике

Обновление 2.7

В этом обновлении одно, но важное нововведение: "Паук", или парсер ссылок. Кормим урл, получаем все внешние линки с этого источника.

Важное замечание: для его использования надо создать новый проект, в уже существующих до версии 2.6 включительно работать не будет.

Идем в проект, в верхнем меню рядом с "Запросы" и "Домены" новый линк "Паук".

1. Добавляем урл старта. Этим уровнем будет ограничен сбор. Если указать только домен, будет пройдет весь донор. А если site.ru/razdel/, то спарсятся страницы не ниже этого раздела (по вхождению фрагмента в урл).

2. Исключить урлы - фрагменты урлов, по которым не надо идти. (/forum/, например). Только одно вхождение. Всё основано на ваших запросах, если потребуется, сделаю множественное перечисление исключаемых фрагментов адресов.

3. Запускаем, в процессе найденные внешние ссылки кладутся в файл первички, потом сама первичка, whois, ссылочные показатели... всё как обычно.

4. По завершению видим найденные дропы в разделе "Домены".

==========

Это последнее обновление в уходящем году. Работа возобновится с 3 января 2020, в первоочередных планах обновлений:

1. Возврат выгрузки в CSV, но с возможностью выбора колонок и их упорядочиванию.

2. Один из покупателей предоставил API от ahrefs, система будет интегрирована по части показателей. Но для использования потребуется свой ключ.

3. Плавно начинаем двигаться в сторону перехвата, на первых порах это сбор дат освобождения для занятых доменов в зонах ru/su и com/net/org, другие по запросам покупателей.

4. Углубимся в поиск контента: софт будет выводить список страниц домена в архиве, отображая длину контента, мета-теги и заголовки. После прикрутим поиск. Это не восстановление, это поиск. Гарантий быстрого ввода в строй этого компонента нет, неизвестно с какими трудностями столкнусь в процессе, но пока причин для пробуксовки не вижу.

В плане продаж остановок нет, в любое время. С 25 декабря 2019 цена 360$, с 1 января 2020 прайс 400$. С наступающим.

Очень доволен софтом и разработчиком!

всегда на связи, проконсультирует

обновления постоянные

а сам софт просто огонь! один из лучших в коллекции, пользуюсь-не нарадуюсь!

берите пока цена не выросла! а ростёт она не на пустом месте, уже поверьте

Так это нормально, на 1 купившего всегда 100500 интересующихся.

Жаль, что нет услуги поиска домена, т.к. не всем нужно много, доменов, чтобы отбить скрипт, многим нужно 1-2 домена.

Есть такая очень известная организация, которая продавала только полный доступ к свой базе на несколько млрд. ключевых фраз с метрик и не хотели браться за разовые выборки.

В итоге тысячи людей кому нужны были эти выборки все же их получили, а организация не дополучила много $.

Выгрузки по 50$ на месте, если нужно больше одного домена, то это дешевле выходит. А историю проверить, на самом деле, не так сложно, как кажется.

Обновление 2.9

• Подсказка при наведение на заголовок столбца возвращена на месте, при прошлых обновлениях потерялась
• После импорта запросов автоматом запускается сбор, ссылку "Взять" нажимать больше не требуется
• Горизонтальный скролл для таблицы. Возможно работает криво, пришлите скрин, если у вас так. Сорян, в приоритете кодинг, вёрстка позже.
• Сбор с DomDetailer стал многопоточным. По-умолчанию 3 потока, можно до 10. Устанавливается в настройках парсинга. Я тестил на 10 потоках, всё летает, 1-2 секунды. Субъективно, можно было бы и больше потоков, но разработчик сервиса рекомендовал 10, потому так оставляем.

Вернулся в рабочий ритм, обновы пойдут прежним темпом.

Продажа комплекса закрывается в понедельник, 10 февраля, в 12 дня по МСК полностью. Кто купил, ничего не меняется, обновления продолжат выход.

В течение месяца выйдет WebBear 3. Продажи возобновлены. Покупатели первой/второй перейдут на тройку бесплатно. С 1 сентября 2020 обновления станут платными, цена ближе к сентябрю. Новым покупателям обновления бесплатны 3 месяца, но, если вы купите софт, скажем, в апреле, то они также будут до сентября.

По цене тройки информация тоже будет позже.

Обнова 2.901

Срочно обновляемся. Пороговые значения, к которым была привязка при сборе показателей ссылочного, снизились и работа с такими доменами в версии до 2.9 включительно некорректна.

Другие изменения также есть.

Продажи до 31 марта включительно, после пауза ориентировочно на месяц, т.е. весь апрель.

Неделя до серьезного обновления, расширяю доменные зоны, а это значит что WebBear будет находить больше дропов.

На данный момент софт поддерживает ~ 100 зон второго уровня и десяток третьего, после обновы будет 450 второго уровня и 350 третьего.

Сейчас муторный этап привязки статусов, в рамках зоны третий уровень может возвращать разные ответы, в частности в зоне ua веселуха. Или взять .com.ru, на занятые домены whois отдаёт статус свободного. Ну и новые зоны = ошибки разбора состояния доменов на первых порах, когда софт не может разобрать статус, свободен или занят, потому как есть еще статусы резерв и запрещен, которые также надо отлавливать руками. В общем, тесты, тесты, и еще раз тесты.

Если в апреле крепко зайду с продажами в бурж, цена поднимется, что будет означать отсутствие продаж в СНГ. Потому кто откладывал покупку, самое время рассмотреть её еще раз, в апреле продаж не планируется.

Про скидки: скидка возможна только в одном случае: если была заказана выгрузка и в этот же день заказчик покупает софт, тогда скидка будет в размере цены, заплаченной за выгрузку. Других оснований нет.

Обнова 2.902, мощная

1. Расширились со 120 до 678 доменных зон, из них 426 второго уровня и 252 третьего. Но, по мере поступления информации, буду уменьшать количество зон, т.к. не все доступны для свободной регистрации.

2. Интегрировано API xmlstock.com, теперь у нас есть функция проверки индексации в Гугле. На момент анонса, цена проверки наличия индекса в Гугле для 1000 доменов равняется 20 рублям.

3. При проверке whois зоны чередуются, что снижает вероятность бана у регистратора за частые запросы.