Autodor.Wmsn - дорген, генератор дорвеев на php.

Mik Foxi
На сайте с 02.03.2011
Offline
1218
#361
Shing:
Autodor.Wmsn может укладывать сервер, 32гб ram?
Доров всего пара штук, на несколько тысяч страниц.
Но после их появления на сервере стал ложиться mysql.
Совпадение?

Дорген не использует mysql. Смотрите логи mysql, там должна быть причина падения, дальше изучайте кто вызывает эту причину.

У меня под доры сервера вида: Xeon E3-1230 V2/V3, 32GB DDR3, 2x1TB HDD (soft raid 1), доменов десятки тысяч, страниц десятки миллионов, файлов баз пару сотен ГБ. При этом запаса ресурсов еще вагон и ничего не падает. Но это надо уметь администрировать сервер, настраивать его под высокие нагрузки, а не просто поставить панельку с дефолтными конфигами.

cscope:
foxi, такой вопрос (ламерский) - если буду накрывать дор фреймом с целевым сайтом, то получается парсить картинки и видео не нужно?
И можно как то запретить парсинг номеров телефонов? Или как то добавить в стоп слова.

фрейм полезен для гугла, яндекс его не понимает и не воспринимает в ранжировании, Хотя я давно забил на картинки и видео, у себя не использую их, трафа не меньше, чем с картинками. Ну а собственно картиночного трафа 0.1% от общего, т.е. можно на него смело забить.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
T1
На сайте с 16.04.2013
Offline
40
#362

Ребя подскажите как в клоаке прописать редирект что бы боты не палили этого.

И подскажите плз, не будет ли проблем с индексацией если всех редиректить сразу.

Mik Foxi
На сайте с 02.03.2011
Offline
1218
#363
tv1000:
Ребя подскажите как в клоаке прописать редирект что бы боты не палили этого.
И подскажите плз, не будет ли проблем с индексацией если всех редиректить сразу.

все что пропишешь в cloaking.php боты не увидят.

kxk
На сайте с 30.01.2005
Offline
990
kxk
#364

foxi, Сделай праздничный апдейт доргена :)

Ваш DEVOPS
Mik Foxi
На сайте с 02.03.2011
Offline
1218
#365
kxk:
foxi, Сделай праздничный апдейт доргена :)

Пока ничего не придумано для обновления. И так все норм. В общем уходим в праздничный запой до конца января. Все равно весь доротраф русский в запое будет, а не на дорах.

one
На сайте с 15.04.2007
Offline
336
one
#366

Бурж тоже, так что отдыхаем и мы ребзя. Всех с Наступающим!

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.
cscope
На сайте с 13.02.2005
Offline
525
#367

Генерация бесконечная. Если задал 7к страниц, 10 кеев на страницу, 20 предложений и 70к кеев всего, сколько может занять генерация?

Mik Foxi
На сайте с 02.03.2011
Offline
1218
#368
cscope:
Генерация бесконечная. Если задал 7к страниц, 10 кеев на страницу, 20 предложений и 70к кеев всего, сколько может занять генерация?

🤪 я уже наверное ушел встречать новый год. Вопрос не понятен.

У вас не срабатывает стопор при ручном кешировании? Версия доргена последняя v.2.0.8?

cscope
На сайте с 13.02.2005
Offline
525
#369
foxi:

У вас не срабатывает стопор при ручном кешировании? Версия доргена последняя v.2.0.8?

Версия последняя. До этого делал тестовые малостраничные доры, все быстро было, сейчас зарядил большой. Каждые 7-8 секунд цифры в урле увеличиваются на 10, дошло до ~ 15к, сколько ждать еще? Ничего не происходит.

Mik Foxi
На сайте с 02.03.2011
Offline
1218
#370
cscope:
Версия последняя. До этого делал тестовые малостраничные доры, все быстро было, сейчас зарядил большой. Каждые 7-8 секунд цифры в урле увеличиваются на 10, дошло до ~ 15к, сколько ждать еще? Ничего не происходит.

Так всего 70к? Тогда ждать еще не мало. Но лучше остановиться уже. Для начала ботам и столько хватит, остальное пусть постепенно появляется, типа естественное наполнение сайта.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий