[мое брахло] старенький дорген

R1
На сайте с 24.06.2009
Offline
64
#101
База 1.5 гигов.

это нормально, у меня при тесте все закончилось базой в 20 гб, потом кончилось место и гугл все побанил, вместе с айпи, теперь там ничего в индекс не лезет из нового и чистого

В день генерится где-то 500к страниц

в этом нет смысла, сбавь обороты, стоит уменьшить вероятность появления новых паг

мои настройки для новой пачки такие

+выключена генерация сабов по запросу

домены не считал, добавил штук 200 мертвых, они были забанены в гугле

зачем? чтобы загрузить серв по полной? в инете куча разных ботов сканеров - всех не перебанишь, плюс боты гугла которые тоже лазают по забаненым доменам постоянно, но без толку - в индекс ничего не идет, это создает бесполезную нагрузку. Но не исключаю, возможно, в этом есть какой то скрытый смысл мне не понятный...

по трафу 3-5 уников дает)

:) смешно, да

// было бы здорово дописать в дорген макрос [DOOR-TEXT-1], что бы можно было вставить хоть какой-то кусок текста

сейчас занят другим чудесным скриптом, и там все сложно, блин, времени маловато будет, но такой макрос - это просто, посмотрю вечером, дало осложняется тем, что у меня что то много разных версий уже накопилось доргена с разными поправками и добавками, боюсь что то не то выложить, но это мелочи же...

п.с. небольшой бонус 71 шаб для доргена с моей первой пачки, к сожалению, инфа по кодировкам не сохранилась, нужно смотреть руками + плюс тут нет слива

update

вот архив, добавил макрос [DOOR-RNDLINE(test.txt)] - берет случайную строчку из файла test.txt ну или из любого другого, файл должен лежать в корне домена, рядом с доргеном. Чтобы обновиться надо скопировать на сервер файлы doorv2.php и enginev2.php.

Не стоит грузить файлы со строками по 10мб, т.к. они целиком грузятся в память, при создании странички, но при отдаче уже все берется из базы. Возможно, позже переделаю на выборку из базы. Или кто другой это сделает, кому будет не лень.

Вы не увидите изменений на уже созданных страницах, так как они берутся из базы, и там нет этих данных, но когда настанет время обновления d_reconst макросы отработают. Для страниц, которые еще не созданы, естественно, макрос будет учтен сразу.

п.с. надеюсь, ничего не перепутал и выложил версию без значительных правок.

Всем классного вечера!

Leviathan
На сайте с 11.04.2013
Offline
39
#102

Ну да, это я конечно молодец с доменами, ну вообще была надежда вытянуть че с яндекса и других поисковых систем +отфильтровать живые+ тогда я не осознавал логики работы) Лучше бы 5 чистых рушек добавил и не парился, а так убил нагрузкой сервак :D

S
На сайте с 12.11.2010
Offline
77
#103

сборка с последнего архива. не как не могу разобраться с редиректами с мобильного, вроде всё убрал а кидает всё равно

OR
На сайте с 12.05.2014
Offline
62
#104
OmgRes, как успехи?)

Все что было на ру + новые домены, в один раз улетело в гугле в бан, некоторые новые домены даже не успели проиндексироваться. ХЗ в чем проблема, шабов было достаточно. (может кто подскажет в чем причина).

В индексе яндекса 2 дора. Остальные не залезли, ну или не залезут уже.

По деньгам, профитраф (майл браузер):

+ с турбоинстала там что-то еще порядка 1к рублей.

Затраты на 10 доменов.

То что под енг - все живо и здорово.

T
На сайте с 15.11.2011
Offline
120
#105
OmgRes:
может кто подскажет в чем причина

Слив, надо полагать :)

Сам-то как думаешь....

Дешевые VDS - Дешевле некуда! (http://0ll0.ru/4Ta9y)
OR
На сайте с 12.05.2014
Offline
62
#106
Tecak:
Слив, надо полагать :)
Сам-то как думаешь....

На слив точно не думаю.

R1
На сайте с 24.06.2009
Offline
64
#107
stars:
сборка с последнего архива. не как не могу разобраться с редиректами с мобильного, вроде всё убрал а кидает всё равно

там не должно быть мобильных редиректов

OmgRes:
Все что было на ру + новые домены, в один раз улетело в гугле в бан

да, у меня было тоже самое, и на этом айпи больше ничего не лезет :(

хз в чем причина, нужны тесты. Я пока подозреваю, что большой индекс в несколько лямов стр и, как следствие траф, привлекает дополнительное ненужное внимание. Т.к. мелкие доры с небольшим индексом нормально живут. Потому сейчас выключил перелинковку и новые сабы, оставил по 1к сабов на домен. Ну и остальные факторы тоже никто не отменял, конечно же. Тесты решают.

Есть идеи? Велкам!

OR
На сайте с 12.05.2014
Offline
62
#108
хз в чем причина, нужны тесты. Я пока подозреваю, что большой индекс в несколько лямов стр и, как следствие траф, привлекает дополнительное ненужное внимание. Т.к. мелкие доры с небольшим индексом нормально живут. Потому сейчас выключил перелинковку и новые сабы, оставил по 1к сабов на домен. Ну и остальные факторы тоже никто не отменял, конечно же. Тесты решают.

А какие у тебя сейчас настройки стоят?

И не понял как ограничить по 1к на домен.

N0
На сайте с 06.01.2014
Offline
8
#109
OmgRes:
Все что было на ру + новые домены, в один раз улетело в гугле в бан, некоторые новые домены даже не успели проиндексироваться. ХЗ в чем проблема, шабов было достаточно. (может кто подскажет в чем причина).
В индексе яндекса 2 дора. Остальные не залезли, ну или не залезут уже.
По деньгам, профитраф (майл браузер):

+ с турбоинстала там что-то еще порядка 1к рублей.
Затраты на 10 доменов.

То что под енг - все живо и здорово.

под бурж тоже под даунлоад?

и ты случайно SED не юзал? Как он в сравнении с этим доргеном?

T
На сайте с 15.11.2011
Offline
120
#110

rec108 Напиши плз. вот как на духу: как остановить разрастание и при этом чтобы все ссылки остались рабочими и ничего больше не менялось? Чето я запарился слегка...

Вот вырасла у меня база до 3Гиг и я хочу чтоб дальше горшочек не варил. Но чтоб все осталось рабочим.

Ты вроде писал уже, но хз мож чё поменялось...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий