Размер поискового индекса Яндекса. Он мизерный! - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 27.09.2016, 00:28   #1
Banned
 
Регистрация: 22.04.2016
Сообщений: 77
Репутация: -18585

Question Размер поискового индекса Яндекса. Он мизерный!

Читал одну статью про устройство Яндекса, и в нем говорилось, что зимой 2013 года размер всех проиндексированных данных в текстовом выражении, которые хранятся в Яндексе и по которым он ведет поиск – 214 ТБ.

Т.е. весь голый текст миллиардов документов, без html-разметки весит всего 214 ТБ.

Я просто в шоке. Ведь весь Яндекс можно поставить дома у себя под ногами. 3 двухюнитовых сервера, если в них вставить по 15 хардов на 6 ТБ, т.е. суммарно по 90 ТБ может уместить весь Яндекс.

Как так? Это же сущие копейки. Я думал что индекс Яндекса занимает миллионы петабайт, а он всего двести тысяч гигабайт!
BlackMesa вне форума   Ответить с цитированием
Сказали спасибо:

Реклама
Старый 27.09.2016, 00:53   #2
seolink74
Академик
 
Регистрация: 02.06.2006
Сообщений: 3,765
Репутация: 777851
Отправить сообщение для seolink74 с помощью Skype™

По умолчанию Re: Размер поискового индекса Яндекса. Он мизерный!

Яндекс =текст?))
seolink74 вне форума   Ответить с цитированием
Старый 27.09.2016, 00:58   #3
BlackMesa
Banned
 
Регистрация: 22.04.2016
Сообщений: 77
Репутация: -18585

ТопикСтартер Re: Размер поискового индекса Яндекса. Он мизерный!

Цитата:
Сообщение от seolink74 Посмотреть сообщение
Яндекс =текст?))
Нет, вы не поняли моего смысла)

Многие современные ГС, дорвеи, файлопомойки и прочие отбросы генерируют/агрегируют/собирают контент, исчисляемый десятками террабайт.

А весь поисковый индекс Яндекса (миллиарды документов) равен содержимому нескольких таких крупных помоек.

---------- Добавлено 27.09.2016 в 01:02 ----------

И это просто порвало мой шаблон.

Понятное дело, Яндекс высоконагруженная информационная система, имеет сотни серверов.

Но в теории весь вмещенный в нее контент со всеми алгоритмами можно разместить на нескольких серверах у себя под ногами.

Да, он не будет производительный, не получится разместить весь индекс в ОЗУ для моментального поиска, но клон яши, поставленный под ногами, ничем не будет отличаться от нее, кроме времени обработки запроса...
BlackMesa вне форума   Ответить с цитированием
Старый 27.09.2016, 01:36   #4
samimages
Академик
 
Аватар для samimages
 
Регистрация: 31.05.2009
Адрес: Тверь
Сообщений: 3,668
Репутация: 495699

По умолчанию Re: Размер поискового индекса Яндекса. Он мизерный!

BlackMesa, он понял.

Тут момент какой, вы, другими словами, говорите что вся русская литература - это всего 33 буквы; нет, понятно, что вариантов их использования довольно много и приходится строить целые библиотеки для хранения особенно удачных комбинаций, но тем не менее все эти буквы легко умещаются на листке бумаги.

Вот поисковый индекс Яндекса... да и Гугла - суть тоже самое - 33 буквы
__________________
Опыт как иммунитет — приобретается в муках!
Хостинг: 2Гб SSD неограниченное кол-во сайтов [Россия] - 99 руб/мес + домен в подарок
Семантика почти за даром + сбор позиций
samimages вне форума   Ответить с цитированием
Старый 27.09.2016, 01:53   #5
BlackMesa
Banned
 
Регистрация: 22.04.2016
Сообщений: 77
Репутация: -18585

ТопикСтартер Re: Размер поискового индекса Яндекса. Он мизерный!

Представим, есть фундаментальная библиотека МГУ, которая содержит практически всю российскую научную литературу. Это неприметное 4-х этажное здание. Рядом стоят еще 2-х этажки библиотек других ведущих вузов – Бауманки, МФТИ и проч.

Поляна со зданиями этих библиотек окружена лесом из одноэтажных миниатюрных палаток с шаурмой. Палаток с шаурмой вокруг них десятки тысяч.

И неподалеку стоит неприметное 12 этажное здание советской постройки со сталинских времен. Это Яндекс. Он с трудом вмещает содержимое стоящих рядом библиотек и единичное содержание палаток с шаурмой.

При этом в массовом понимании это не то, что небоскреб из книги рекордом Гинесса. Это прямо Цитадель, инопланетное сооружение, уходящее далеко в облака…
BlackMesa вне форума   Ответить с цитированием
Старый 27.09.2016, 07:36   #6
sb1982
Профессор
 
Аватар для sb1982
 
Регистрация: 28.03.2007
Адрес: Kirov region
Сообщений: 3,659
Репутация: 539645
Отправить сообщение для sb1982 с помощью ICQ Отправить сообщение для sb1982 с помощью Skype™

По умолчанию Re: Размер поискового индекса Яндекса. Он мизерный!

А король-то голый? Тоже считал, что индекс куда больше.
sb1982 вне форума   Ответить с цитированием
Старый 27.09.2016, 07:52   #7
Ваано
Профессор
 
Аватар для Ваано
 
Регистрация: 01.08.2009
Сообщений: 746
Репутация: 111602

По умолчанию Re: Размер поискового индекса Яндекса. Он мизерный!

Вам, как говорится, шашешки или ехать?)
С поиском в рунете Яндекс местами лучше Гугла справляется.
Значит хватает ему именно такого объема текстового индекса.
__________________
Рекомендую заказать туры в Мексику тут. Оптимальное соотношение цена/качество.
Ваано вне форума   Ответить с цитированием
Старый 04.10.2016, 10:20   #8
sheba
Аспирант
 
Регистрация: 24.03.2010
Адрес: Москва
Сообщений: 101
Репутация: 10731

По умолчанию Re: Размер поискового индекса Яндекса. Он мизерный!

Кстати, а говорилось что-нибудь про метод сжатия? Наверняка индекс хранится не в чистом текстовом виде... хотя может быть и так... вот если условно посчитать 1 символ = 1 байт, то небольшой текст из 1000 символов = 1 кб, сайт из 1000 таких страниц = 1мб. Волне реально хранить на 214 тб 214 млн таких средних сайтов) это похоже на индекс
sheba вне форума   Ответить с цитированием
Старый 04.10.2016, 12:17   #9
богоносец
убивец демо†кратии
 
Аватар для богоносец
 
Регистрация: 30.01.2007
Адрес: совок_б/к
Сообщений: 8,892
Репутация: 961561

По умолчанию не играйтесь в аналогии

Цитата:
Сообщение от samimages Посмотреть сообщение
Вот поисковый индекс Яндекса... да и Гугла - суть тоже самое - 33 буквы
Ранжирующие системы ... занимаются не словами, а наборами символов,
и не только букв
www.google.ru/search?q=☻
www.google.ru/search?q=❄
www.google.ru/search?q=♐

хотя и буков с иероглифами сожрали... сами не знают сколько. Бот Щукин затруднился с ответом.
__________________
MatrixNet must Die.
богоносец вне форума   Ответить с цитированием
Сказали спасибо:
Старый 20.10.2016, 01:05   #10
adel92
Хостинг провайдер WellWeb
 
Аватар для adel92
 
Регистрация: 04.01.2012
Адрес: Россия, Москва
Сообщений: 2,801
Репутация: 42328
Отправить сообщение для adel92 с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Размер поискового индекса Яндекса. Он мизерный!

Цитата:
Сообщение от Ваано Посмотреть сообщение
Вам, как говорится, шашешки или ехать?)
С поиском в рунете Яндекс местами лучше Гугла справляется.
Значит хватает ему именно такого объема текстового индекса.
Это только в РУнете и то в комм сфере (товары и услуги)
По информации Гугл куда лучше Яндекса будет
__________________
Быстрые VPS на SSD от 490 р. -> Бесплатное администрирование! FREE ISP 5!
Дешевый хостинг от 49 р. -> SSL и перенос бесплатно!
Скидка 50% на услуги хостинга и VPS. Промо-код: JG3UDN0S2P
adel92 вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 02:00. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны