это нормально, у меня при тесте все закончилось базой в 20 гб, потом кончилось место и гугл все побанил, вместе с айпи, теперь там ничего в индекс не лезет из нового и чистого
в этом нет смысла, сбавь обороты, стоит уменьшить вероятность появления новых паг
мои настройки для новой пачки такие
+выключена генерация сабов по запросу
зачем? чтобы загрузить серв по полной? в инете куча разных ботов сканеров - всех не перебанишь, плюс боты гугла которые тоже лазают по забаненым доменам постоянно, но без толку - в индекс ничего не идет, это создает бесполезную нагрузку. Но не исключаю, возможно, в этом есть какой то скрытый смысл мне не понятный...
:) смешно, да
сейчас занят другим чудесным скриптом, и там все сложно, блин, времени маловато будет, но такой макрос - это просто, посмотрю вечером, дало осложняется тем, что у меня что то много разных версий уже накопилось доргена с разными поправками и добавками, боюсь что то не то выложить, но это мелочи же...
п.с. небольшой бонус 71 шаб для доргена с моей первой пачки, к сожалению, инфа по кодировкам не сохранилась, нужно смотреть руками + плюс тут нет слива
update
вот архив, добавил макрос [DOOR-RNDLINE(test.txt)] - берет случайную строчку из файла test.txt ну или из любого другого, файл должен лежать в корне домена, рядом с доргеном. Чтобы обновиться надо скопировать на сервер файлы doorv2.php и enginev2.php.
Не стоит грузить файлы со строками по 10мб, т.к. они целиком грузятся в память, при создании странички, но при отдаче уже все берется из базы. Возможно, позже переделаю на выборку из базы. Или кто другой это сделает, кому будет не лень.
Вы не увидите изменений на уже созданных страницах, так как они берутся из базы, и там нет этих данных, но когда настанет время обновления d_reconst макросы отработают. Для страниц, которые еще не созданы, естественно, макрос будет учтен сразу.
п.с. надеюсь, ничего не перепутал и выложил версию без значительных правок.
Всем классного вечера!
Leviathan, через load data local infile либо через импорт в csv, либо еще как то - без разницы как.
Старые сиды удалять не надо, сиды вообще представляют собой случайные целые числа, нагенерь их чем хочешь (недостающее количество), сохрани в файл и добавь любым способом. Это простой способ выбирать случайные данные из многомиллионной базы, они используются при выборе ключей и при выборе страниц линковки.
Tecak, продолжает расти за счет всяких ботов тугодумов, которые обратились к странице, увидели что там есть ссылки на новые сабы, но сразу по ним не пошли, а отложили на "потом". Т.к. страниц таких целая куча, то знают что у тебя есть много сабов, на которых они еще не были, вот и ходят... хотя страница уже может быть пересобрана и ссылок на эти сабы нигде нет.
вобщем тут только вручную отключить, открой prostoj.php найди там закомментированный участок:
//выключить поддомены
//header('HTTP/1.1 503 Service Temporarily Unavailable');
//echo '503 Service Temporarily Unavailable';
//exit;
и расскомментируй :) у меня он начинается на 74 строке, тогда для всех новых сабов, о которых нет записи в конфиге, будет отдаваться 503 - "сервис временно не доступен"
но это не остановит рост полностью, т.к. в базе есть записи о еще не созданных страницах, т.е. ссылки на них уже есть, но контент пока не создан, при обращении к ним он будет создан и увеличит размер базы
отключить тоже в ручную - либо удалить все записи из main где d_content = '', либо отдать 503 ошибку:
найти 207 строку, там коммент:
//страница еще не создана, создаем
после него сразу вставить, что написано выше, для отдачи 503 + exit;
небольшой итог:
1. причина 503 ошибки - не загружены ключи или сиды, или ключей меньше 100к, так же может быть от того, что ваша БД называется "1" например. Сейчас скрипт не экранирует названия баз, оттого с названиями типа "1", "55" работать не будет, нужно называть как то типа "superbaza1" т.е. с буквами.
2. причина не загрузки ключей и сидов на автомате - настройки mysql где отключена по каким-то причинам загрузка через load data local, как это исправить или как альтернатинвно загрузить эти данные написали выше в постах
3. соблюдать правило - сидов должно быть примерно на 100к больше чем ключей (а ключей должно быть от 100к), если вы не используете перелинковку в пределах всех хостов. Если такую перелинковку используете - сидов должно быть на 100к больше чем записей в таблице main.
4. предосторожность от медленных запросов - начните с малого. не нужно грузить 10М кеев сразу и делать 100М сидов на вырост. для начала стоит добавить, скажем 2М ключей, и 2М сидов, как только вы видите, что количество страниц суммарно приближается к 2М, можно добавить еще кеев и сидов.
saimonyz, вот что сегодня советовал Leviathan на примере скрипта от loadpays:
1. найти 169 строку в doorv2.php
там должно быть $d_cont.='dwn17.html?'.urlencode($current_key).'@@';
заменить на $d_cont.='/load_link/77777/'.$current_key.'.zip/File4Me/'.'@@';
77777 - заменить на твой айди
File4Me - на нужный лендинг
тогда макрос [DOOR-DOWNLOAD-URL] будет выводить то что нужно
2. отредактировать .htaccess в такой вид
RewriteEngine On
RewriteRule ^load_link/(.*)/(.*)\.zip/(.*)/$ load_link/?r=$1&q=$2.zip&service=$3 [L]
RewriteCond %{REQUEST_URI} !^(.*load_link/.*)$
RewriteRule ^(.*)$ prostoj.php?p=$1
папку от лоадпейс (load_link) залить в корень домена (не в папку шаблона)
п.с. удачных дел.
Leviathan, после того как загружены кеи нужно создать сиды.
кеи ты загрузил, теперь запускай loadseed.php, не забудь поставить права на запись для seed.txt
так автоматом у тебя не импортирует, загружай полученные сиды как советовал Ya-Go или я в посте про импорт
Ya-Go, спс, один я такие вопросы не вытяну)
а сиды загрузил?
Leviathan, ошибка синтаксиса же) надо внимательно проверять, бд называется "1"?
простая альтернатива тыкнуть на таблицу кейс и выбрать импорт csv
не забыть выставить кодировку файла и название столбца. ну и макс размер файла увеличить видимо придется. тоже самое для сидов, но столбец будет r_seed. и можно все пожать зипом.
Leviathan, так бывает, если запрещена загрузка через load data local infile
сделайте как говорит товарищ Ya-Go
load data local infile "путь к ключам/1.txt" into table имя_базы.keys character set cp1251 (d_key);
по сидам - тут надо соблюдать простое правило - сидов должно быть примерно на 100к больше чем записей в таблице main, если вы используете линковку по всем хостам и их сабам. Если вы не используете такую линковку, то сидов должно быть больше чем ключей на 100к, т.к. сиды используются при выборках как ключей так и случайный страниц из main. Если не соблюдать это правило, то выборка будет идти в пределах количества сидов. Т.е. если сидов 200к, а ключей 500к, то выборка будет идти только среди первых 200к ключей. То же самое с линковкой.
Всем привет, скидка до конца текущего месяца 30%, цена со скидкой 700руб
Промокод EDE9EF7BCF924A64 многоразовый
Хорошего настроения!
