Оптимизация таблицы (копирование её в новое место) занимает время минимум 2 секунды и по возразтающий на каждые 100 фрагментов добавляется 1секунда, а скорость фрагментирования ... в объщем оптимизацию делать раз в минуту - придется, НО удаление+создание индекса занимает 2 минуты. - не айс :(, да и скорость работы через массив в памяти уж очень сильно нравится.
Дело в том что во время работы растет 2 файла:
1-файл таблицы
2-файил индексов
А т.к. изменение 1го влечет за собой изменение 2го - вот и получается фрагментация
PS.
файловая система NTFS
Да-да это все из тойже оперы, т.к. проблема была не решена - снова решил за неё взяться.
bimcom добавил 17.05.2009 в 13:52
Так думаю это будет самым узким местом при любой структуре и в любом случае, так что без увеличения оперативки не обайтись.
Это мысль, наверняка получится сэкономить 20-40% используемой памяти.
А вот замена на кирилицу всех данных эффекта никакого не дала.
Даже незнаю где мог ошибиться при создание БД, т.к. было всего 2 поля оба с индексами, запросы вроде не через жо... скорость по началу была приемлимая, но после нескольких сотен тысяц запросов/обработки данных в БД она сильно фрагментируется и скорость работы просто никакая (при количестве фрагментов больше 5000 база просто замирает скорость работы не то что на 2 порядка падает а на все 3), в массивеже эти данные обработались за 15 часов (а в БД за 4 суток было готово только 25%)
(скорее всего ошибся в выборе БД - посоветовали использовать иноБД но до этого чет руки не дошли)
На этапе чтения обработать данные невозможно - нужно проводить поиск/выборки/сортировки по всему массиву.
Рекомендации Шевцов-а опробую минут через 30 - щас закончится предъидущая обработка.
память докупить рассматривается как экстренный случай.
код:
У яндекса ДНС обновряется довольно редко - часто наблюдаю ситуацию:
Зарегистрировал домен, через пол дня он у моего провайдера уже открывается (тоесть ДНСы прова обновились) а яндекс ещё про него не в курсе (выдает Сервер недоступен, либо возвращает код статуса http, отличный от 200) Дождитесь завтрешнего дня, а может и вечера.
Подождем отзывы.
Показанный мне пример был основан на нескольких книгах - после проверки на уник выяснилось что эти же книги ещё на 20 сайтах аналогичным образом использованны.
Еслиб контент был уникальным это былоб фишка, а так, подозреваю что пациент для фильтра/исключения из индекса (но все это зависит от качества внутренней структуры и доп. приемов, именно поэтому я просил проиндексированные Ваши сайты, находящиеся несколько недель в индексе, которых вы показать не смагли)
Надо совсем на голову храмать чтоб иметь материал и не смочь из него сгенерировать/создать сайт
мне интересна эта тема и уйду я из неё когда мне этого захочется, такчто не нужно мне намекать...
))) если вы отправляете архивы аналогичные тому что демонстрировали мне, не думаю что отзывы будут лестными IMHO.
Если удосужились прокоментировать мой пост, то ответьте и на вопрос в конце.
В чем фишка? - За что такие деньги плотятся? (скачать книжку и разбить на куски текста это не фишка)
Не стеба ради, а ради того чтобы самому разобраться, ну а если невчем разбираться, то хоть для того чтоб вы свой мозг напрягли и добавили изюма в свое предложение.
по вашему описанию товара и показанному примеру складывается впечатление что такой сайт делается в 3 этапа:
1. Скачаваем с мошкова библиотеку (ну или пару сотен книг для начала)
2. Приводим все книги к формату txt (а можно качать только в этом формате, тогда этот пунк пропускается или файнридер на ночь)
3. пишем на PHP скрипт который поочереди будет открывать все файлы в указанной папке отсчитывать 500 слов, заливать их в простейший HTML шаблон и ставить ссылку на следующую страничку, и сохранять.
Всеее.
Цена такого скрипта $50 под ключ или 1час работы того кто шарит в програмирование, а вы ценник от $20 сделаили.
Или я не заметил/оценил какойто фишки?
