Сторонний паук. где взять? Seodor

rifmir · 2015-04-07T04:41:24.0000000Z

Здравствуйте, у меня проблема такая: 1 поток кеширования сеодора отсылает страницы в очередь и во время прохождения паука параллельно сайт не может грузиться и всё делается медленно. посоветовали стороеннего паука который бы прошёлся по сайтмапу. Люди добрые подскажите где такое чудо найти?

211

sidorka

8 апреля 2015, 11:30

#11

Рекомендую православный wget в качестве паука.

wget -r -k -l 7 -p -E -nc http://site.com/

1

Дешевые домены для дорвеев и не только - от 55р (https://goo.gl/Wtnwqp)

336

one

8 апреля 2015, 12:24

#12

Могу предложить Standalone XML Sitemap Generator - если еще актуально стучитесь в ЛС.

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.

231

master_jeday

8 апреля 2015, 13:46

#13

Просто карту сайта генерируй при первом обращении.

Настройки > Карта сайта > Кол-во ссылок, которые запишутся в карту сайта при первом запуске доргена

И краулером сеодора в этом случае пробегать не надо.

Вообще странно, что в 1 поток грузит. У меня на слабеньком вдс 5 потоков держит без проблем.

Если именно краулер нужен, могу скинуть. Он, правда, бегает по рандомным ссылкам в самом шабе (класс блока, где лежат эти ссылки, указывать надо в скрипте), а не по карте сайта. По карте сайта бегать и не надо. Паги в карте уже закешированы.

Дорвеи на заказ с гарантией трафика ( /ru/forum/993918 ) >>> Осторожно, в телеге/скайпе есть клоны! Проверяйте, что общаетесь именно со мной через личку!

Нет входящих ссылок на Гугл считает важными неверные Картиночные доры

503

exarh

8 апреля 2015, 14:25

#14

rifmir:
Вопрос не по теме - а можно сеодору скармливать генерированную текстовку Цербером, чтобы он работал без парсинга?

А смысл тогда сеодора какой?

Проще тогда брать, к примеру, кандидат и фигачить статику цербером. Картинки парсить на лету, при заходе юзера на дор скриптом.

Монетизируй (https://publishers.propellerads.com/#/pub/auth/signUp?ref_id=tnE) свой сайт с выгодой

R

56

rifmir

9 апреля 2015, 04:34

#15

exarh:
А смысл тогда сеодора какой?
Проще тогда брать, к примеру, кандидат и фигачить статику цербером. Картинки парсить на лету, при заходе юзера на дор скриптом.

Спасибо за ответ, а что за кандидат такой?

W

80

webruk

9 апреля 2015, 05:11

#16

rifmir:
Люди добрые подскажите где такое чудо найти?

Напиши сам или купи.

R

56

rifmir

9 апреля 2015, 05:25

#17

webruk:
Напиши сам или купи.

Из предложенных уже нашёл оптимальный вариант)

Open AI тестирует память для ChatGPT

Маркетинг для шоколадной фабрики. На 34% выше средний чек