Генератор сайтов (полудорвеев) ViCont

на продажнике написано про 2000 сайтов:) Или это новая сетка?

Это планы. Под ру сейчас делаем 60 сайтов на свежерегах, после этого на пробу 50 в каталогах под бурж. В бурже сомневаюсь, накладка со сбором ключей, но если всё ок, то ДА - будет около 2000 сайтов.

А почему на новорегах? Надежда на мувер?

Кстати, если можно в этой теме, то несколько вопросов по нему

1. Идёт ли с ним какая-то начальная база?

2. Как она пополняется обновляется?

3. По каким типам ресурсов идёт спам?

Новореги потому что придаю значение вхождению ключа в урл.

Текущая: Без гео: 0, RU: 42, EN: 36

Самостоятельно. Фак:

ФАК по добавлению в базу:

Как искать:

Способ #1: вводите запрос в Яндекс вида "*.joysea.ru", ищите в выдаче сайты-анализаторы, в которых можно проверить домен. Например, нашли http://prlog.ru/analysis/joysea.ru. Стираете joysea.ru, вписываете свой домен. Если информация по домену отображена, значит он подходит для наших целей. Если пишет, что информация по данному домену не найдена, значит анализатор не автоматический и толк нам не принесет.

Способ #2: вводим в поисковиках запросы типа "анализ сайта", "информация о домене", "whois", "калькулятор стоимости сайта" и аналогичные на английском языке. Потом указываем любой домен, копируем урл результата проверки. Что делать с урлом, описано ниже.
Добавление в базу:

Это очень важный момент. Чтобы скрипт знал, куда именно подставить ваш домен, этот участок надо заменить на текст #2727#. Вот примеры из текущей базы:

http://seoni.ru/tools/checkurllinks/www.#2727#
http://mywebinfos.com/#2727#
http://urlnik.info/ru/#2727#/
http://www.webinspect.info/site/#2727#
http://builtwith.com/#2727#
http://url-sub.ru/site/analysis/#2727#
http://www.seogadget.ru/express?url=#2727#
http://www.worthofweb.com/website-value/#2727#/
http://www.rankflex.com/en/check/#2727#
http://www.analysis-sites.ru/tools/analysis/#2727#

При добавлении новой ссылки в базу, она обрезается до домена и сравнивается, нет ли дублей. Если нет, то добавляется. Таким образом можно копировать всю нашу базу, которую мы будем высылать на e-mail и вставлять в форму добавления.
После добавления в базу, ссылке надо указать ГЕОпринадлежность.

Это не спам. Принцип такой: отправляем урл в анализаторы сайтов, которые выводят ссылку на сайт. В конце выдается список ссылок сервисов, которые надо пропинговать. Некоторые сервисы и сами пингуют свои новые страницы.

Размышляю над тем, чтобы включить мувер в состав генератора, но сомневаюсь, т.к. стоимость вырастет на 15$. Стоимость генератора и так будет увеличиваться по мере внедрения из ToDo.

Наткнулся на складчину, потому правила меняются. Продажа остановлена на пару дней. Заказывать можно, получите чуть позже.

Теперь:

- Исходный код закрытый

- Вшита лицензия

- В случае выкладки в паблик и последующего обнаружения этого факта, скрипту по номеру лицензии будет отправлена команда на самоуничтожение.

"Стройка без тормозов" или как поставить оптимальный процесс генерации сетки. На своем примере.

1. Планирование сети

У меня туристическая сеть, потому структура везде схожая:

Курорт №1. Рубрики, уточняющие слова, сбор ключей. Например, "Адлер достопримечательности". В эту группу уточнением будет "адлер олимпийский парк", "адлер форелевое хозяйство" и т.п., в общем то, что не найдется по запросу "адлер достопримечательности", но относится к этому разделу.

Если ваша сетка про строительство, то можно поступить иначе: выписываете разделы, коих может оказаться полтысячи, все на одной странице. А потом обводите в прямоугольники определенное количество строк и подписываете номером. Получится сайты №1, 2, 3, .... Два цвета, чередуя.

2. Сбор ключей

Мы перед генерацией хотим собрать все ключи для всех 60 сайтов, а только после этого начать генерировать. Создаем папки по именам или номерам сайтов и создаем текстовые файлы по именам категорий, в которые сложим готовые ключи.

Если кто знает, как в keycollector добавить несколько фраз в сбор с вордстата и чтобы каждая из этих фраз создала себе отдельную группу, буду премного благодарен. Подарю мувер.

3. Выписываем на бумажку табличку с колонками | Имя сайта, | Имя БД, | Категории, | Ключи, | Тубы, | XML

Благодаря последнему обновлению, база теперь создается автоматически. Потому придумываем названия баз для сайтов, пишем на бумажку, а потом в конфиге меняем на это название.

Такая запись поможет видеть процесс и бумажный вариант всегда выиграет у представления в цифровом формате, быстрее и заметнее.

Опять же, если кончился дневной лимит XML, можно не останавливаться, поменять имя базы в конфиге и парсить тубы. По всем оставшимся базам. Это тоже занимает время.

Дельный совет: используйте префикс для всех баз, например dor_site1, dor_site2. В PhpMyAdmin, которым вы наверняка пользуетесь, базы будут группироваться в папку dor_. Эстетика.

4. Подводя итог

В итоге у вас получатся готовые дампы сайтов, останется их лишь снять и залить на сервер. Касаемо шаблонов это отдельный разговор. На момент написания поста у нас 182 белых сайта с единым шаблоном. Год работает, полёт идет нормально.

Год работает? Я думал скрипт совсем свежий☝

Ты проглядел уточнение "белая". Генёрка серая.

Возможно сумбурно изложил, но я в плотном программэ, так что это не худший вариант изложения при каше в голове.

Пока писал фак, в голове родилась мысль сделать доработку, и параллельно думал над её реализацией. Вот что будет:

Сейчас достаточно прописать имя базы в конфиге и генератор предложит создать такую базу. Но ничего не мешает подключить текстовый файл со списком этих баз, а в админке сделать переключатель чтобы и вовсе ничего не прописывать всякий раз в конфиг.

Такие дела.

Ничего не понятно, жду отзывов🍿

Выше я писал про шифрование кода. Отменяется.

Во-первых, закодировать можно, а в обратную варианта не нашел.

Во-вторых, складчики запарятся обновлять сундук, обновления в ближайшие пару месяцев будут частыми.

В третьих, парсинг тубов может сломаться и версии, утекшие в паблики, будут уже не рабочими.

В четвертых, люди высказывают опасения по-поводу шифровки, чтобы никакого слива в нем не оказалось.

В общем, код остается открытым.