Тогда где можно посмотреть схему связи магистральных провайдеров?
Тут где-то Лев Матвеев бродит из СофтИнформа. У него была чуть другая проблема: он, как стартап, искал тех инвесторов, кто заинтересует его 😂
Интересуюсь в какой датацентр сервер поставить :)
После проработки вопроса пришёл к такой архитектуре:
1. Выделенный сервер для обслуживания рекламодателей. Крутится nginx + fastcgi + php. Слабенькие диски для данных, мало памяти.
2. Сервер Mysql. Хорошие диски, много памяти.
3. Нужное количество полностью идентичных серверов под поисковый движок. На каждом в памяти хранится реплика всех данных. Слабенькие диски для данных, много памяти, древние процессоры. При смерти каждой из машин система остаётся работоспособной.
4. На отдельной машине биллинг кликов с быстрой отработкой запросов. Данные с неё снимаются раз в минуту, но копия хранится сутки. Эта же машинка является вспомогательным прокси. Мало памяти, слабые диски.
5. Прокси-сервер. Роутит запросы на сервера и балансирует нагрузку.
6. Сервер для переиндексации данных. Слабенькие диски для данных, мало памяти.
7. Сервер под бекап. Слабенькая машинка с большим диском. Здесь находится копия всех данных.
8. Сервер управления системой: перенос данных из MySQL в индексатор, репликация обратных индексов на сайты поисковых серверов, пренос данных из сервера биллинга в MySQL. Здесь же в свободное время крутится система обработки статистики. Надёжность машины и диски не критичны.
В дополнительном хостинге ожидают копии серверов 3, 4 и 5. Хотя если есть датацентры, при падении которых рушится интернет в Москве, то в таком дублировании нет необходимости.
Если использовать MySQL только для хранения данных о рекламодателях контекстной рекламы (клиентах), а всю информацию для работы поисковика выгружать в собственную БД, то поможет.
По кусочкам. Считываешь первые 64Кб прямого индекса. Строишь куски обратного, сбрасываешь на диск. Считываешь следующий кусок прямого индекса. Строить куски обратного, сбрасываешь на диск. И так до конца прямого индекса.
Сеошники, сеошники... Страшно далеко часть из нас от реального бизнеса. Укажите заказчикам месячный поток посетителей по словам типа "порно" и спросите своих заказчиков: нужно ли "раскручивать" сайт по этому запросу. Ответ будет, зачастую, "да". Это же очевидно для них. Об этом говорит весь предыдущий опыт заказчиков.
В реальном бизнесе никого не интересует, о чём думал человек до того, как увидел вывеску магазина. Это не важно. Поэтому ларьки и палатки ставят в местах потоков людей: чем больше людей на улице, тем больше оборот у точки.
Вот с этим опытом приходят владельцы бизнеса и менеджеры в интернет. Они следуют ему и пытаются расположиться на потоках людей: высокочастотниках. Отсюда и странный факт: всем нужны высокочастотники при том, что наиболее выгодные клиенты с низкочастотников.
Отправить 2 WMR оптимизаторам. Если вдруг сайт приспустится в выдаче, то докупить ссылки с другими текстами и пользоваться радушностью конкурентов.
Подавляющая часть запросов в поисковиках это запросы с количеством 1 в месяц. То есть уникальные. Так что даже если счётчик ЛИ будет стоять на всех сайтах, то результаты поиска по запросам с популярностью менее 10 в месяц будут выглядеть очень куце. Пример: книги по оптимизации сайтов - 2 запроса за месяц.
Второй аспект состоит в том, что яндекс в результатах поиска говорит о том, сколько документов он просмотрел, из скольки он отобрал лучший. Его работа и полнота данных пользователю очевидна. С ЛИ такого нет. Психологически проигрышный шаг.
Имхо, игрушка это, а не поисковик. Своеобразная промо-акция счётчика, чтобы показать его важность и широту охвата для владельцев сайтов. С этой позиции данный поисковик - суперход.
Без проблем - с нотариусом.