seodor хорош ли?

А это разве зависит от доргена?

Это мне вопрос ?

Что за глупая логика?

Тема закрыта, потому что размещена не в том разделе.

Прочитал тему и понял, что принцип работы Сеодора многим пока не понятен. Хочу немного разъяснить как он парсит:

В конфиге доргена подключены парсеры с разных источников, и при генерации страницы выбирается рандомно один парсер, через который идет парсинг.

При следующей генерации страницы снова выбирается рандомный парсер. Вероятность того, что выберется тот же парсер, что и в первом случае мала. Т.е. здесь уже идет таймаут между запросами парсинга с одного источника. На самом деле, баны от ПС при парсинге по такому алгоритму минимальны, даже если работает не один дор. Но если уж получили бан от ПС, то можно добавить дополнительных IP на сервак, что снова увеличивает шансы на успех при парсинге.

Теперь о нагрузке. Понятное дело, что при парсинге идет нагрузка, а если еще и в несколько потоков то тем более. Но Сеодор в добавок может не просто парсить сниппеты, он еще может переходить на сайты из этих сниппетов и их парсить. Здесь нагрузка просто неизбежна. Добавим к этому еще и парсинг картинок и видео.

Как решить эту проблему?

- заранее кешировать страницы перед отдачей их ботам;

- составлять шаблоны таким образом, что в сутки, например, будет появляться только по 25 новых страниц, а остальные страницы будут выдаваться из кеша;

- заготавливать свою текстовку и отдавать ее при генерации страниц;

- использовать режим статики в доргене или статический кеш.

В этой теме кидали ссылку на тему с форума сеодора по поводу нагрузки - у кого есть доступ, посмотрите этот ответ, если интересно. Вкратце, пользователь использовал в шаблоне такие конструкции макросов, которые открывали по 25 раз файл с кеями по 12 мегабайт + sqlite базу карты сайта из 270к линков. Нагрузки разве не должно быть? Здесь размер файла кеев не имеет особого значения, нагрузка была из-за множественного открытия файлов.

Решение было найдено с помощью использования небольшого PHP-кода в шаблоне, т.к. под абсолютно все специфические задачи дорген заточен быть не может.

Есть также примеры от пользователей, которые успешно используют Сеодор уже не на первом своем сервере. Ограничения получаются не от нагрузки, а от размера жесткого диска на нем.

Все зависит от размаха, но в большинстве случаев подойдет!

Очень не понятно реализована эта функция в нём, Допустим я запилил 10 доров с 10к ключами, хочу закешировать допустим 2000 ключей. В настройках выставляю параметр кеев в сутки 2000 ( иначе страницы просто не создадутся т.к ограничение будет если меньше поставить ) + в кеш такое же число. И теперь не важно сколько кеев пропишешь в сутки - седор не успокоется пока не закеширует все доры, а разрешено ему по 2000 кеев кешировать и настройку эту он сохраняет до конца, т.е если прописать 10 кеев в сутки - он всеравно продолжает и дальше кешировать кучу страниц.

У меня 8 ядерник Xeon, 16 памяти, около 200 доров более менее прокешированных, но с такой настройкой 2 дня загибался. Пришлось ручками чистить от нулевых по трафику доменов, удалять ключевые слова и куча других не связанных с понятием доргена работы ( дорген - в первую очередь должен облегчать задачу )

Работаю пол года но логику понять досихпор не могу, в определенные дни начинается жёсткое кеширование. нагрузка 100% сервера, в обычные дни 50%

Вообщем не знаю как утихомирить кешировать страницы. Параметры кеев в сутки 5 и в кеш 5 - не помогают. Страницы создаются и создаются.

На счёт трафика - он есть, но не в тех количествах что хотелось бы, всё таки на позиции влияет время отклика дора - а с такими нагрузками она в десятки секунд может выходить.

Задумался об альтернативе, что посоветуете? Sed?

Ну незнаю насчет sed 4, но sed 3.6 нулячий, то он также как и seodor (использует кеш и сильно грузит сервак).

Я себе переделал на sqlite, на серваке не генерю, так как юзаю vps.

1. Попробуй на локалке генерить, а на сервак заливать уже готовый.

2. Возможно еще сервак ложат боты (нужно смотреть логи).

http://ifirestarter.ru/product/10 :) Есть решение под повышенные нагрузки ботов: Redis, Memcached и еще 20 движков под кеширование страниц дорвея🍿