plattoo: написал я как-то себе дорген, который примерно с такой же скоростью генерил контент и загонял в sqlite - пикчи, текст, видео. короче, всё по феншую
но там и семантическое ядро руками было собрано, и каждый ключ прочекан, т.е. была проведена серьёзная подготовительная работа, чтобы получить траф, который будет конвертиться
собственно, результат таким и был - трафа немного, но конверт как с контекста
Истинно! Это как раз и есть ДДЛ о котором учит нас отец и мать всех дорвейщиков, повелитель гусей и просто чувак с лысой аватаркой - бабулер. Да продлит Аллах его дни!
Но! Для таких целей лучше парсить православный Яндекс XML, а не богомерзкий Bing в котором полная неразбериха в текстах потом. Как в принципе я и делаю для WP, вот хотел попробовать автоматизировать. :)
rasiell, по поводу этого надеюсь возражений нет? То, что не я всё неправильно делал, а кто-то инструкцию некорректно составил.
Фома: rasiell, а в видео о том что эта вкладка должна быть открыта во время парсинга есть? Нет! (я спецом пересмотрел!) А в логах о том что что-то там не работает есть? Нет! Какие притензии ко мне если я всё делал по инструкции?
e_v_medvedev: Судя по манере общения ваш интеллект действительно ниже плинтуса. А в профиле у себя вы можете писать что угодно. От этого ума не прибавляется.
С таким даром предвидения Вам бы на битву экстрасенсов. Имели бы успех. 🍿
rasiell, а в видео о том что эта вкладка должна быть открыта во время парсинга есть? Нет! (я спецом пересмотрел!) А в логах о том что что-то там не работает есть? Нет! Какие притензии ко мне если я всё делал по инструкции?
---------- Добавлено 17.10.2017 в 09:43 ----------
JungleBox: Покупать все новые доргены это как коллекционировать любовниц, шо вы там ищете, что поперек будет?
Они и есть как любовницы: какая-то сразу обслужит без прелюдий, вокруг другой поплясать надо полвечера. :)
---------- Добавлено 17.10.2017 в 10:49 ----------
kxk: Спартанец наверное 1 из самых адекватных авторов доргенов каких я когда-либо видел
Оочень рад за него, нет правда. Но вот дорген мне не пошёл. Не могу же я его нахваливать после этого, согласись.
Как ты предлагаешь брать текстовку заранее спаршеную, тогда смысл весь теряется. Хотя надо отдать должное от многой рутины избавляет.
---------- Добавлено 17.10.2017 в 09:17 ----------
rasiell: Дорген, который вы самоотверженно защищаете, справится с такой задачей?
Пользуясь Вашей философией "нажал кнопку и забыл" - да. Не всю сразу, а по мере обходом робота.
---------- Добавлено 17.10.2017 в 09:20 ----------
rasiell: А вы видимо пропустили, что я выше писал - вы настроили дорген на использование парсера, а парсер не запустили, поэтому страницы получились пустыми.
Такс, помня ваши вчерашние тезисы вспоминаю что-то, вкладка d-parser при парсинге должна быть открыта? (Пойду так попробую)
---------- Добавлено 17.10.2017 в 09:24 ----------
kxk: Фома, А, то что ты в стате показал сгенерено доргеном деда?
Ща ТС скажет, что это реклама. Я упоминал уже этот дорген до того как пошли тёрки с ТС, он выше. Тут извини, повторить не могу, обвинит потом в предвзятости. Вернись на пораньше, я там упоминал.
samimages: я пока не стал делать выводов, но 10-ку вообще перестал хотеть...
Я всё больше хочу вернуться на 7-ку, запарила 10-ка своей сетевой активностью, особенно после последнего обновления, а при моих ADSLных скоростях это реально напрягает.
---------- Добавлено 17.10.2017 в 06:40 ----------
rasiell: А во-вторых, я не вижу ничего конструктивного в "я не очень хочу разбираться в вашем доргене", "У меня тут немножечко другая цель - хочу поставить вас на место.".
Видимо Вы пропустили, я выше писал, что дорген нагенерил много тыс пустых паг тужась и пыжась больше 2 часов. Причём занимает при этом сейчас 2.5 гига на серваке. И это без контента!
А разбираться в доргене я и вправду не намерен, с чего бы? В тестеры я вроде как не записывался.
Для сравнения:
Вот ссылка на стату C-Panel на виртуалке!, где стоит 79 доров по 70 тыс страниц с отложенной публикацией:
если думаете на них мало текста, вот параметры готовой странички в индексе:
и тоже, всё на автомате. Правда делает он эти странички не 2+ часа, а меньше минуты на всех 70-ти сайтах. Ну объём ещё само собой будет расти ибо запустил их где-то с неделю назад, но насколько понимаю половина страниц уже заполнена, т.к. ставлю заполняемость 50% при генерации. Но да, генерятся вначале пустые странички потом они заполоняются контентом по мере обхода роботом сайта. Но сейчас уже на некоторых в индексе больше 10 тыс стр.
Это конструктивно?
Зачем мне ковыряться в заведомо нерациональном доргене, если уже есть продукт который работает?
написал я как-то себе дорген, который примерно с такой же скоростью генерил контент и загонял в sqlite - пикчи, текст, видео. короче, всё по феншую
но там и семантическое ядро руками было собрано, и каждый ключ прочекан, т.е. была проведена серьёзная подготовительная работа, чтобы получить траф, который будет конвертиться
собственно, результат таким и был - трафа немного, но конверт как с контекста
Истинно! Это как раз и есть ДДЛ о котором учит нас отец и мать всех дорвейщиков, повелитель гусей и просто чувак с лысой аватаркой - бабулер. Да продлит Аллах его дни!
Но! Для таких целей лучше парсить православный Яндекс XML, а не богомерзкий Bing в котором полная неразбериха в текстах потом. Как в принципе я и делаю для WP, вот хотел попробовать автоматизировать. :)
rasiell, по поводу этого надеюсь возражений нет? То, что не я всё неправильно делал, а кто-то инструкцию некорректно составил.
rasiell, а в видео о том что эта вкладка должна быть открыта во время парсинга есть? Нет! (я спецом пересмотрел!) А в логах о том что что-то там не работает есть? Нет! Какие притензии ко мне если я всё делал по инструкции?
Вощем догенерило это чудо дор из 5 тыс паг, вот лог.
Домен: ********.ru
Сервер: * (*.*.*.*)
Сборка WordPress: minimal_with_sitemap
Тема WordPress: a1
Количество статей: 4918
-------------------------------------------------------------------------
17.10.2017 12:00:22 - начинаю генерацию
17.10.2017 12:00:22 - подготавливаю сборку
17.10.2017 12:00:23 - подготавливаю тему
17.10.2017 12:00:23 - очищаю БД
17.10.2017 14:11:50 - генерирую статьи: 100%
17.10.2017 14:11:51 - создаю категории
17.10.2017 14:11:51 - создаю метки
17.10.2017 14:12:17 - сохраняю БД
17.10.2017 14:12:18 - добавляю домен на сервер
17.10.2017 14:12:21 - закачиваю файлы на сервер
17.10.2017 14:17:53 - распаковываю файлы
17.10.2017 14:18:07 - настраиваю кэширование
17.10.2017 14:18:40 - устанавливаю права на файлы
17.10.2017 14:19:10 - генерация завершена
2 часа 19 минут!!!! 2 долбаных часа! Так реально кто-то работает? Я разделом точно не ошибся?
P.S. Я ещё помалкиваю о том, что проц с 4 ядрами на 2.3ГЦ всё это время был под завязку.
Судя по манере общения ваш интеллект действительно ниже плинтуса. А в профиле у себя вы можете писать что угодно. От этого ума не прибавляется.
С таким даром предвидения Вам бы на битву экстрасенсов. Имели бы успех. 🍿
вкладка d-parser при парсинге должна быть открыта? (Пойду так попробую)
Такс, а вот так работает. Вот пример: http://1001-master.ru/
rasiell, а в видео о том что эта вкладка должна быть открыта во время парсинга есть? Нет! (я спецом пересмотрел!) А в логах о том что что-то там не работает есть? Нет! Какие притензии ко мне если я всё делал по инструкции?
---------- Добавлено 17.10.2017 в 09:43 ----------
Покупать все новые доргены это как коллекционировать любовниц, шо вы там ищете, что поперек будет?
Они и есть как любовницы: какая-то сразу обслужит без прелюдий, вокруг другой поплясать надо полвечера. :)
---------- Добавлено 17.10.2017 в 10:49 ----------
=========================================================
Прошло 46 минут, сгенерировано 37% из 5 тыс статей.
17.10.2017 12:00:22 - подготавливаю сборку
17.10.2017 12:00:23 - подготавливаю тему
17.10.2017 12:00:23 - очищаю БД
17.10.2017 12:46:43 - генерирую статьи: 37%
Не, господа, так реально кто-то доры делает? Я вот серьёзно сейчас спрашиваю.
Спартанец наверное 1 из самых адекватных авторов доргенов каких я когда-либо видел
Оочень рад за него, нет правда. Но вот дорген мне не пошёл. Не могу же я его нахваливать после этого, согласись.
Как ты предлагаешь брать текстовку заранее спаршеную, тогда смысл весь теряется. Хотя надо отдать должное от многой рутины избавляет.
---------- Добавлено 17.10.2017 в 09:17 ----------
Дорген, который вы самоотверженно защищаете, справится с такой задачей?
Пользуясь Вашей философией "нажал кнопку и забыл" - да. Не всю сразу, а по мере обходом робота.
---------- Добавлено 17.10.2017 в 09:20 ----------
А вы видимо пропустили, что я выше писал - вы настроили дорген на использование парсера, а парсер не запустили, поэтому страницы получились пустыми.
Такс, помня ваши вчерашние тезисы вспоминаю что-то, вкладка d-parser при парсинге должна быть открыта? (Пойду так попробую)
---------- Добавлено 17.10.2017 в 09:24 ----------
rasiell, а, и да, про логи Вы писали.
Лог событий:
15.10.2017 19:39:18 - начата генерация [сервер: ХХХ (хх.хх.ххх.хх), cборка WordPress: minimal_with_sitemap], тема WordPress: , количество статей: 43148
15.10.2017 22:09:52 - генерация завершена
Лог генератора:
Начало генерации: 15.10.2017 19:39:18
Домен: ххх.ru
Сервер: ХХХ (хх.хх.ххх.хх),
Сборка WordPress: minimal_with_sitemap
Тема WordPress:
Количество статей: 43148
15.10.2017 19:39:18 - начинаю генерацию
15.10.2017 19:39:18 - подготавливаю сборку
15.10.2017 19:39:19 - очищаю БД
15.10.2017 21:58:50 - генерирую статьи: 100%
15.10.2017 21:58:50 - создаю категории
15.10.2017 21:58:50 - создаю метки
15.10.2017 21:58:53 - сохраняю БД
15.10.2017 21:58:57 - добавляю домен на сервер
15.10.2017 21:59:00 - закачиваю файлы на сервер
15.10.2017 22:09:17 - распаковываю файлы
15.10.2017 22:09:41 - настраиваю кэширование
15.10.2017 22:09:46 - устанавливаю права на файлы
15.10.2017 22:09:52 - генерация завершена
Что тут не так?
Фома, А, то что ты в стате показал сгенерено доргеном деда?
Ща ТС скажет, что это реклама. Я упоминал уже этот дорген до того как пошли тёрки с ТС, он выше. Тут извини, повторить не могу, обвинит потом в предвзятости. Вернись на пораньше, я там упоминал.
Не понял, сейчас я наблюдаю в этом топике, как нашелся лох, который купил этот гавнодорген и обсирает его, т.к. дорген ну реально гавнище ?
Ну не все же такие нищеброды как ты, кто-то может купить дорген просто по приколу. Надо же учитывать это. ;)
я пока не стал делать выводов, но 10-ку вообще перестал хотеть...
Я всё больше хочу вернуться на 7-ку, запарила 10-ка своей сетевой активностью, особенно после последнего обновления, а при моих ADSLных скоростях это реально напрягает.
Кумовья чтоли ?
Нет, однофамильцы. ;)
---------- Добавлено 17.10.2017 в 06:40 ----------
А во-вторых, я не вижу ничего конструктивного в "я не очень хочу разбираться в вашем доргене", "У меня тут немножечко другая цель - хочу поставить вас на место.".
Видимо Вы пропустили, я выше писал, что дорген нагенерил много тыс пустых паг тужась и пыжась больше 2 часов. Причём занимает при этом сейчас 2.5 гига на серваке. И это без контента!
А разбираться в доргене я и вправду не намерен, с чего бы? В тестеры я вроде как не записывался.
Для сравнения:
Вот ссылка на стату C-Panel на виртуалке!, где стоит 79 доров по 70 тыс страниц с отложенной публикацией:
если думаете на них мало текста, вот параметры готовой странички в индексе:
и тоже, всё на автомате. Правда делает он эти странички не 2+ часа, а меньше минуты на всех 70-ти сайтах. Ну объём ещё само собой будет расти ибо запустил их где-то с неделю назад, но насколько понимаю половина страниц уже заполнена, т.к. ставлю заполняемость 50% при генерации. Но да, генерятся вначале пустые странички потом они заполоняются контентом по мере обхода роботом сайта. Но сейчас уже на некоторых в индексе больше 10 тыс стр.
Это конструктивно?
Зачем мне ковыряться в заведомо нерациональном доргене, если уже есть продукт который работает?