GoRSS

GoRSS
Рейтинг
138
Регистрация
29.07.2013

Выше я писал про шифрование кода. Отменяется.

Во-первых, закодировать можно, а в обратную варианта не нашел.

Во-вторых, складчики запарятся обновлять сундук, обновления в ближайшие пару месяцев будут частыми.

В третьих, парсинг тубов может сломаться и версии, утекшие в паблики, будут уже не рабочими.

В четвертых, люди высказывают опасения по-поводу шифровки, чтобы никакого слива в нем не оказалось.

В общем, код остается открытым.

DmitryDavydov:
Год работает? Я думал скрипт совсем свежий☝

Ты проглядел уточнение "белая". Генёрка серая.

Возможно сумбурно изложил, но я в плотном программэ, так что это не худший вариант изложения при каше в голове.

Пока писал фак, в голове родилась мысль сделать доработку, и параллельно думал над её реализацией. Вот что будет:

Сейчас достаточно прописать имя базы в конфиге и генератор предложит создать такую базу. Но ничего не мешает подключить текстовый файл со списком этих баз, а в админке сделать переключатель чтобы и вовсе ничего не прописывать всякий раз в конфиг.

Такие дела.

"Стройка без тормозов" или как поставить оптимальный процесс генерации сетки. На своем примере.

1. Планирование сети

У меня туристическая сеть, потому структура везде схожая:

Курорт №1. Рубрики, уточняющие слова, сбор ключей. Например, "Адлер достопримечательности". В эту группу уточнением будет "адлер олимпийский парк", "адлер форелевое хозяйство" и т.п., в общем то, что не найдется по запросу "адлер достопримечательности", но относится к этому разделу.

Если ваша сетка про строительство, то можно поступить иначе: выписываете разделы, коих может оказаться полтысячи, все на одной странице. А потом обводите в прямоугольники определенное количество строк и подписываете номером. Получится сайты №1, 2, 3, .... Два цвета, чередуя.

2. Сбор ключей

Мы перед генерацией хотим собрать все ключи для всех 60 сайтов, а только после этого начать генерировать. Создаем папки по именам или номерам сайтов и создаем текстовые файлы по именам категорий, в которые сложим готовые ключи.

Если кто знает, как в keycollector добавить несколько фраз в сбор с вордстата и чтобы каждая из этих фраз создала себе отдельную группу, буду премного благодарен. Подарю мувер.

3. Выписываем на бумажку табличку с колонками | Имя сайта, | Имя БД, | Категории, | Ключи, | Тубы, | XML

Благодаря последнему обновлению, база теперь создается автоматически. Потому придумываем названия баз для сайтов, пишем на бумажку, а потом в конфиге меняем на это название.

Такая запись поможет видеть процесс и бумажный вариант всегда выиграет у представления в цифровом формате, быстрее и заметнее.

Опять же, если кончился дневной лимит XML, можно не останавливаться, поменять имя базы в конфиге и парсить тубы. По всем оставшимся базам. Это тоже занимает время.

Дельный совет: используйте префикс для всех баз, например dor_site1, dor_site2. В PhpMyAdmin, которым вы наверняка пользуетесь, базы будут группироваться в папку dor_. Эстетика.

4. Подводя итог

В итоге у вас получатся готовые дампы сайтов, останется их лишь снять и залить на сервер. Касаемо шаблонов это отдельный разговор. На момент написания поста у нас 182 белых сайта с единым шаблоном. Год работает, полёт идет нормально.

Наткнулся на складчину, потому правила меняются. Продажа остановлена на пару дней. Заказывать можно, получите чуть позже.

Теперь:

- Исходный код закрытый

- Вшита лицензия

- В случае выкладки в паблик и последующего обнаружения этого факта, скрипту по номеру лицензии будет отправлена команда на самоуничтожение.

Фома:
А почему на новорегах? Надежда на мувер?

Новореги потому что придаю значение вхождению ключа в урл.

Фома:

Кстати, если можно в этой теме, то несколько вопросов по нему
1. Идёт ли с ним какая-то начальная база?

Текущая: Без гео: 0, RU: 42, EN: 36

Фома:

2. Как она пополняется обновляется?

Самостоятельно. Фак:

ФАК по добавлению в базу:

Как искать:

Способ #1: вводите запрос в Яндекс вида "*.joysea.ru", ищите в выдаче сайты-анализаторы, в которых можно проверить домен. Например, нашли http://prlog.ru/analysis/joysea.ru. Стираете joysea.ru, вписываете свой домен. Если информация по домену отображена, значит он подходит для наших целей. Если пишет, что информация по данному домену не найдена, значит анализатор не автоматический и толк нам не принесет.

Способ #2: вводим в поисковиках запросы типа "анализ сайта", "информация о домене", "whois", "калькулятор стоимости сайта" и аналогичные на английском языке. Потом указываем любой домен, копируем урл результата проверки. Что делать с урлом, описано ниже.
Добавление в базу:

Это очень важный момент. Чтобы скрипт знал, куда именно подставить ваш домен, этот участок надо заменить на текст #2727#. Вот примеры из текущей базы:

http://seoni.ru/tools/checkurllinks/www.#2727#
http://mywebinfos.com/#2727#
http://urlnik.info/ru/#2727#/
http://www.webinspect.info/site/#2727#
http://builtwith.com/#2727#
http://url-sub.ru/site/analysis/#2727#
http://www.seogadget.ru/express?url=#2727#
http://www.worthofweb.com/website-value/#2727#/
http://www.rankflex.com/en/check/#2727#
http://www.analysis-sites.ru/tools/analysis/#2727#

При добавлении новой ссылки в базу, она обрезается до домена и сравнивается, нет ли дублей. Если нет, то добавляется. Таким образом можно копировать всю нашу базу, которую мы будем высылать на e-mail и вставлять в форму добавления.
После добавления в базу, ссылке надо указать ГЕОпринадлежность.

Фома:

3. По каким типам ресурсов идёт спам?

Это не спам. Принцип такой: отправляем урл в анализаторы сайтов, которые выводят ссылку на сайт. В конце выдается список ссылок сервисов, которые надо пропинговать. Некоторые сервисы и сами пингуют свои новые страницы.

Размышляю над тем, чтобы включить мувер в состав генератора, но сомневаюсь, т.к. стоимость вырастет на 15$. Стоимость генератора и так будет увеличиваться по мере внедрения из ToDo.

realefs:
ссылки на разные домены. разве боты сожрут, если я где-то на домене создам xml и напихаю туда их линков на разные домены?

Что индексировать? Если страницы сайта, то пингуешь карту, либо каждую страницу.

Если тебе надо индексировать ссылки на других сайтах, пингуешь их страница по-отдельности.

Это планы. Под ру сейчас делаем 60 сайтов на свежерегах, после этого на пробу 50 в каталогах под бурж. В бурже сомневаюсь, накладка со сбором ключей, но если всё ок, то ДА - будет около 2000 сайтов.

P1otr:
вы забыли про стили, картинки... Мне кажется что сохранить все одной рабочей копией не выйдет

Видимо забыл, но это же быстрый ответ. Дальше сам.

Ок, от двоих людей позже будет по отзыву, плюс моя сетка из 60 сайтов потихоньку стартует. Вот только умерших вряд ли увидим))

babuler:
Гуглу важно, чтобы масса шаблона не превышала массу текста, поэтому лучше делать или шаблоны попроще, или же контента текстового побольше кидать

Интересная мысль. Если ставить эксперимент, какой длинны временной отрезок брать, как думаешь?

Всего: 1012