И сейчас умеют. Но не окупится. Капитализьм...
360 тыс. просмотров, т.е. 5 страниц в секунду? Какой трафик? Какой сервер? Да тут точно VDS 😂
Всё, что может делаться в пакетном режиме, должно делаться в пакетном режиме. Сначала сервером-краулером запрашиваются страницы. Они складываются на спец. сервер для их разбора - сервер-парсер. На сервере-парсере эти страницы разбираются на части, включая список URL и тексты. Список URL отдаётся на сервер, управляющий краулером. Дальше ссылки могут просто складываться в базу для сервера-краулера, а могут складываться лишь те, которых в базе ещё нет. Зависит от реализации. Далее сервер-парсер берёт ещё не обойдённые URL и скачивает страницы с них, складывая на сервер-парсер. И так далее.
Для поиска - своя база данных. Для URL - можно MySQL или обычные текстовые файлы.
Для этого есть отдельный сервер, который строит индекс по всем словам в текстах (сервер-индексатор). По этому-то индексу и происходит поиск на сервере-поисковике.
Второй вариант это хранение в базе пар отрезков с идентификаторами страниц "кто ссылается" - "на кого ссылается". По этим парам уже можно считать и число ссылок со страницы и число ссылок на страницу. Все пары можно держать в памяти. Иногда в памяти десятков серверов - по 250 млн. пар на сервер. Для 4 млрд. страниц это всего около тысячи серверов. Либо держать данные на быстрых жёстких дисках, но скорость будет значительно более медленной.
Венчурные инвесторы?
10 новых Гуглов
Жесть... С Зикамом поведёшься, у него и наберёшься...
А нужен был рай? У Воланда?
У меня свои арендованные сервера. Дальше будете рассказывать про свою практику?
Это для хостинга не "урод программист", а "кормилец программист" - он заставляет пользователей покупать более дорогие и прибыльные для хостера тарифные планы. Если юзеру нужен дешёвый тарифный план - пусть ищет иной движок. Или допиливает имеющийся и оптимизирует его (сам или платит специалисту).
Это палка о двух концах. Новичок будет клепать требовательные к железу сайты и откровенное УГ. Опытный же хорошо оплачиваемый программист будет разрабатывать достаточно производительные сайты значительно быстрее, чем он делал бы без фреймворка. В узких местах можно допилить на чём-то более быстром, чем фреймворк.
Кроме того, никто не мешает лично Вам использовать Вашу парадигму и писать скрипты на С, а данные держать в собственной базе хранимой в памяти (с копией на диске). Работать будет намного быстрее PHP. Правда вылавливать ошибки памяти будете долго, но ведь выдерживание нагрузки на P4 под 5-10 тыс. запросов в секунду того стоит?
Сервер стоит как зарплата хорошего программиста за две недели. Плюс его можно взять в лизинг или заложить.
Иногда использование фреймворка хорошо. Чем меньше строк кода и чем более он понятен, тем меньше там ошибок. При том, что программист обязан знать, что реально лежит под фреймворком и должен уметь всё написать без него и, более того, уметь использовать свои знания подноготной (языка, железа, базы данных и т.д.) для правильного использования фреймворка.
Так Вам
или
?
Половина в рублях, вторая половина - 45% в евро и 55% в баксах.
