Фома

Фома
Рейтинг
600
Регистрация
10.11.2006
plattoo:
написал я как-то себе дорген, который примерно с такой же скоростью генерил контент и загонял в sqlite - пикчи, текст, видео. короче, всё по феншую

но там и семантическое ядро руками было собрано, и каждый ключ прочекан, т.е. была проведена серьёзная подготовительная работа, чтобы получить траф, который будет конвертиться

собственно, результат таким и был - трафа немного, но конверт как с контекста

Истинно! Это как раз и есть ДДЛ о котором учит нас отец и мать всех дорвейщиков, повелитель гусей и просто чувак с лысой аватаркой - бабулер. Да продлит Аллах его дни!

Но! Для таких целей лучше парсить православный Яндекс XML, а не богомерзкий Bing в котором полная неразбериха в текстах потом. Как в принципе я и делаю для WP, вот хотел попробовать автоматизировать. :)

rasiell, по поводу этого надеюсь возражений нет? То, что не я всё неправильно делал, а кто-то инструкцию некорректно составил.

Фома:
rasiell, а в видео о том что эта вкладка должна быть открыта во время парсинга есть? Нет! (я спецом пересмотрел!) А в логах о том что что-то там не работает есть? Нет! Какие притензии ко мне если я всё делал по инструкции?

Вощем догенерило это чудо дор из 5 тыс паг, вот лог.

Начало генерации: 17.10.2017 12:00:22
Домен: ********.ru
Сервер: * (*.*.*.*)
Сборка WordPress: minimal_with_sitemap
Тема WordPress: a1
Количество статей: 4918

-------------------------------------------------------------------------

17.10.2017 12:00:22 - начинаю генерацию
17.10.2017 12:00:22 - подготавливаю сборку
17.10.2017 12:00:23 - подготавливаю тему
17.10.2017 12:00:23 - очищаю БД
17.10.2017 14:11:50 - генерирую статьи: 100%
17.10.2017 14:11:51 - создаю категории
17.10.2017 14:11:51 - создаю метки
17.10.2017 14:12:17 - сохраняю БД
17.10.2017 14:12:18 - добавляю домен на сервер
17.10.2017 14:12:21 - закачиваю файлы на сервер
17.10.2017 14:17:53 - распаковываю файлы
17.10.2017 14:18:07 - настраиваю кэширование
17.10.2017 14:18:40 - устанавливаю права на файлы
17.10.2017 14:19:10 - генерация завершена

2 часа 19 минут!!!! 2 долбаных часа! Так реально кто-то работает? Я разделом точно не ошибся?

P.S. Я ещё помалкиваю о том, что проц с 4 ядрами на 2.3ГЦ всё это время был под завязку.

e_v_medvedev:
Судя по манере общения ваш интеллект действительно ниже плинтуса. А в профиле у себя вы можете писать что угодно. От этого ума не прибавляется.

С таким даром предвидения Вам бы на битву экстрасенсов. Имели бы успех. 🍿

Фома:
вкладка d-parser при парсинге должна быть открыта? (Пойду так попробую)

Такс, а вот так работает. Вот пример: http://1001-master.ru/

rasiell, а в видео о том что эта вкладка должна быть открыта во время парсинга есть? Нет! (я спецом пересмотрел!) А в логах о том что что-то там не работает есть? Нет! Какие притензии ко мне если я всё делал по инструкции?

---------- Добавлено 17.10.2017 в 09:43 ----------

JungleBox:
Покупать все новые доргены это как коллекционировать любовниц, шо вы там ищете, что поперек будет?

Они и есть как любовницы: какая-то сразу обслужит без прелюдий, вокруг другой поплясать надо полвечера. :)

---------- Добавлено 17.10.2017 в 10:49 ----------

=========================================================

Прошло 46 минут, сгенерировано 37% из 5 тыс статей.

17.10.2017 12:00:22 - начинаю генерацию
17.10.2017 12:00:22 - подготавливаю сборку
17.10.2017 12:00:23 - подготавливаю тему
17.10.2017 12:00:23 - очищаю БД
17.10.2017 12:46:43 - генерирую статьи: 37%

Не, господа, так реально кто-то доры делает? Я вот серьёзно сейчас спрашиваю.

kxk:
Спартанец наверное 1 из самых адекватных авторов доргенов каких я когда-либо видел

Оочень рад за него, нет правда. Но вот дорген мне не пошёл. Не могу же я его нахваливать после этого, согласись.

Как ты предлагаешь брать текстовку заранее спаршеную, тогда смысл весь теряется. Хотя надо отдать должное от многой рутины избавляет.

---------- Добавлено 17.10.2017 в 09:17 ----------

rasiell:
Дорген, который вы самоотверженно защищаете, справится с такой задачей?

Пользуясь Вашей философией "нажал кнопку и забыл" - да. Не всю сразу, а по мере обходом робота.

---------- Добавлено 17.10.2017 в 09:20 ----------

rasiell:
А вы видимо пропустили, что я выше писал - вы настроили дорген на использование парсера, а парсер не запустили, поэтому страницы получились пустыми.

Такс, помня ваши вчерашние тезисы вспоминаю что-то, вкладка d-parser при парсинге должна быть открыта? (Пойду так попробую)

---------- Добавлено 17.10.2017 в 09:24 ----------

rasiell, а, и да, про логи Вы писали.

Лог событий:

15.10.2017 19:39:18 - начата генерация [сервер: ХХХ (хх.хх.ххх.хх), cборка WordPress: minimal_with_sitemap], тема WordPress: , количество статей: 43148

15.10.2017 22:09:52 - генерация завершена

Лог генератора:

Начало генерации: 15.10.2017 19:39:18

Домен: ххх.ru

Сервер: ХХХ (хх.хх.ххх.хх),

Сборка WordPress: minimal_with_sitemap

Тема WordPress:

Количество статей: 43148

15.10.2017 19:39:18 - начинаю генерацию

15.10.2017 19:39:18 - подготавливаю сборку

15.10.2017 19:39:19 - очищаю БД

15.10.2017 21:58:50 - генерирую статьи: 100%

15.10.2017 21:58:50 - создаю категории

15.10.2017 21:58:50 - создаю метки

15.10.2017 21:58:53 - сохраняю БД

15.10.2017 21:58:57 - добавляю домен на сервер

15.10.2017 21:59:00 - закачиваю файлы на сервер

15.10.2017 22:09:17 - распаковываю файлы

15.10.2017 22:09:41 - настраиваю кэширование

15.10.2017 22:09:46 - устанавливаю права на файлы

15.10.2017 22:09:52 - генерация завершена

Что тут не так?

kxk:
Фома, А, то что ты в стате показал сгенерено доргеном деда?

Ща ТС скажет, что это реклама. Я упоминал уже этот дорген до того как пошли тёрки с ТС, он выше. Тут извини, повторить не могу, обвинит потом в предвзятости. Вернись на пораньше, я там упоминал.

twiprogon:
Не понял, сейчас я наблюдаю в этом топике, как нашелся лох, который купил этот гавнодорген и обсирает его, т.к. дорген ну реально гавнище ?

Ну не все же такие нищеброды как ты, кто-то может купить дорген просто по приколу. Надо же учитывать это. ;)

samimages:
я пока не стал делать выводов, но 10-ку вообще перестал хотеть...

Я всё больше хочу вернуться на 7-ку, запарила 10-ка своей сетевой активностью, особенно после последнего обновления, а при моих ADSLных скоростях это реально напрягает.

AESCBC192:
Кумовья чтоли ?

Нет, однофамильцы. ;)

---------- Добавлено 17.10.2017 в 06:40 ----------

rasiell:
А во-вторых, я не вижу ничего конструктивного в "я не очень хочу разбираться в вашем доргене", "У меня тут немножечко другая цель - хочу поставить вас на место.".

Видимо Вы пропустили, я выше писал, что дорген нагенерил много тыс пустых паг тужась и пыжась больше 2 часов. Причём занимает при этом сейчас 2.5 гига на серваке. И это без контента!

А разбираться в доргене я и вправду не намерен, с чего бы? В тестеры я вроде как не записывался.

Для сравнения:

Вот ссылка на стату C-Panel на виртуалке!, где стоит 79 доров по 70 тыс страниц с отложенной публикацией:

если думаете на них мало текста, вот параметры готовой странички в индексе:

и тоже, всё на автомате. Правда делает он эти странички не 2+ часа, а меньше минуты на всех 70-ти сайтах. Ну объём ещё само собой будет расти ибо запустил их где-то с неделю назад, но насколько понимаю половина страниц уже заполнена, т.к. ставлю заполняемость 50% при генерации. Но да, генерятся вначале пустые странички потом они заполоняются контентом по мере обхода роботом сайта. Но сейчас уже на некоторых в индексе больше 10 тыс стр.

Это конструктивно?

Зачем мне ковыряться в заведомо нерациональном доргене, если уже есть продукт который работает?

Всего: 16129