Мегадор и веник

Лисапеты конечно не нужно изобретать - нужно изобретать доры, чтобы они не хранили такое кол-во статики. Откуда столько статики? Зачем она? Если через БД - то генеренка на ходу, непосещалка отсекается, новое добавляется, никогда выше 30К полезных кеястраниц не будет на одном доре. Если файлоген - тоже контент в ограниченке лежит на хосте а паги виртуальные и также непосещалку отсекаем - зачем сохранять в кэш больше 30-40К? И да, по 700 а не по 1000 в кэш на фолдер пихаем, а это с двумя уровнями до 100 папок - 200К паг, а у нас 40К макс файлов. Я не понял откуда вы больше берете? Пересмотрите свою технологию доростроя товарищ.

Это не моя технология - сеодоры заброшенные в режиме роста.

Скулайт - не торт короче, лучше мускул под такие вещи, возможно.

Еще либу нашел любопытную - http://phpfastcache.com/, может кому пригодится. Посмотрел, что индусы вытворяют - по хэшам папки нарезают, если файловое хранилище выбирается, вроде тоже норм вариант.

Задал вопрос знакомому админу - а можно кэш нгинкса выгрузить и использовать в другом месте. Был обозван красноглазым извращенцем почему-то. Наверное нельзя...

Тоже вариант. По опыту, сколько до первого посетителя ждать, прежде чем затирать?

От генеренки на лету все же следует уходить - детство это какое-то. Для школы веселых дорвейщиков еще пойдет, жалко сервера - они ж мне как родные уже стали. Оптимальней клиент-сервер. Статику раздать можно быстро практически на любой дешевой железяке.

Стоимость места на венике копеечная нынче, важнее грамотно организовать хранение.

Кто еще какие ухищрения применяет? Попроще, без дополнительных серверов, баллансировщиков, перехватывающих проксей и всего прочего. Что это такое еще не разбирался - это мне админ насвистел, как надо жить по уму.

Повторюсь - обсуждаем проблему удобного хранения и быстрой раздачи аГромадного количества мелких файлов в свете доростроения.

Нонешний юзер шибко привередлив - не хочет ждать, как в 99-м году по 2 минуты загрузку странички :(

Я немного не про это. Кэшируем только паги, на которые входит бот - те, что посещают юзеры - не кэшируем в принципе. Если бот прошел и не сканит более 7 дней пагу - не держим ее в кэше больше. Через БД - в бд только кеи - 1 запрос в бд во время посещения юзера - это мизер, все работает на 1 долларовом хостинге. Все остальные параметры лежат в файлах контента и вытягиваются кодом php и отдают готовую страницу с кеем из БД. Тоже только через файлоген - кеи разбиты по файлам 300-500 кеев в файл. Вместо бд идет файл запрос. Правила разбивки кеев и урлозависимость определяет владелец дора.

Место на венике не нужно, если весь дор имеет один шаблон, а меняется только небольшой контент по определенным правилам. Смысл сохранять одно и тоже в файлы и гробить скорость чтения с диска, когда на этой же скорости практически отдается сгенеренный через файловую систему контент.

Я никак не могу успокоиться, что картинок надо тащить на хост кучу, а если еще текстом засорять ноды - это вообще будет самоубийство.

Вот пытаюсь сейчас посмотреть как на скрипт-картинки пс будут реагировать невидимые (через бары только смогут засечь их пс и понять что там все-таки есть картинка). А юзер видит набор из 100 разных картинок в любом месте дора (больше страниц он не посмотрит все-равно).

Посмотрю что думают пс по поводу таких картинок - примут их как норм контент или нет. Если примут, то и картинки не придется больше сотни потом таскать с собой на дор.

sidorka - nginx может отдавать сразу сжатый контент, на лету разжимая, если клиент не поддерживает. Для статики - самое то. Выигрыш обычно в 5 раз.

Запаковываем файлы в архив и удаляем исходники. html файл в 30 кб сжимается примерно в 5-6кб.

Меньше места на диске, меньше трафика, быстрее скорость отдачи и т.д.

Копать в сторону ngx_http_gzip_static_module .

Продолжение истории.

Чтоб разгрузить веник и не терять траф, грохнул сеодоры и днсы поменял на другую пачку собственного производства с 301-м редиком на главную по ошибке. Прошла неделя. Сегодня обнаружил резкое снижение нагрузки на сервере, куда направил бывшие сеодоры. Сразу закрались сомнения, вряд ли это моих рук дело, хотя намедни ковырялся с нгинксом там. Полез смотреть индекс и расстроился. Под сотню доменов резануло в ноль. Проверял выборочно несколько доменов в ВМТ - агрессивный спам, жопа короче.

На сеодорах траф был нормальный, около 10 доменов с папками, убил из-за того что сервак ложили на лопатки.

Думаю, что своими нервными действиями привлек внимание к себе, вроде как утянули за собой всю шоблу мою, больше года траф дающую понемногу.

Вывод -

Ересь еретика!

Сеодор - зло. Юзай кашерную Пандору. Ну или как крузаводы(это я про себя) - Жако.

На всяк пожарный, вдруг XPraptor заглянет. Как реализовал? На лету или логи парсишь? Или еще как?

Скорее я недооценил его коварство. Я и не думал-то что базы так разрастутся, да и забыл про них на годик. А так - дорген удобный, макросов много, дело свое делает. Вот только закрытие кода мне не понравилось - открытые исходники лучше. Опыт его использования - десяток-другой доров, брал посмотреть что другие ваяют.

ЗЫ. Это второй залет за 2 года, первый был из-за мегаактивного пинга.

---------- Добавлено 20.11.2014 в 22:15 ----------

И еще - гугл банит в полночь, падлюка. В прошлый раз в это же время случилось - около полуночи :) Если стате верить. И по нагрузке сервака - перед баном терзал его, как бобик тряпку - резкий всплеск нагрузки последние сутки перед поркой, по трафу наоборот падение - серв лагать начал.

Что бы это значило?

Вывод - еще лучше, если будет 1000 доров по 50! 🍿

Золотые слова, но уточню - в течение десятилетий и чтоб не отвлекаться на них.

1кк по 1 или 1 мильярд но по 0.5, да.