В индексе Яндекса максимум 1000 страниц?

В нагрузке на сервера от тысяч роботов-долбильщиков результатов поиска. Что же тут непонятного?

дело не только в существенности, а в бесполезности. пользователям (людям) - это надо?

можно

http://yandex.ru/yandsearch?text=%D1%81%D0%BB%D0%BE%D0%B2%D0%B0+%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D1%82%D0%BE%D1%80%D1%8B+%D0%B4%D0%BB%D1%8F+%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80%D0%B0&clid=46510&lr=213

При чём здесь бесполезность? Где её критерии? В чём польза не от сотой, а от пятидесятой страницы? Кто из пользователей ищет не дальше пятидесятой, а дальше пятой?

Это всё досужие рассуждения, а я говорю о технических ограничениях.

Я не вижу существенного возрастания нагрузки. Разве что на каналы.

Это и непонятно.

Пример поискового оператора можно сразу?

что это?

никаких критериев. с такой же успешностью можно было ограничиться и 50ой, думаю. либо же есть статистика, что кто-то (эм?) заходит за 500ой результат выдачи

на каналы, на сервера. если бы это один парсер делал для одного сайта - одно. если это будет делать все сео сообщество, и вытаскивать все страницы - это по-вашему не даст приличное увеличение нагрузки?

Или пятитысячной.

Оно и так этим занимается. Нет никакого "одного парсера для одного сайта".

Насколько я представляю себе архитектуру, разница в нагрузке между выдачей 1.000 и 50.000 результатов - существенно меньше, чем разница между 5 и 1.000 результатов.

Проще вообще не обрабатывать такого рода запросы, чем выбирать часть по каким-то критериям, отнимающим дополнительные ресурсы на их пересчёт.

Ограничение в 1000 результатов действует на ВСЕ запросы, а не только при поиске страниц на одном сайте. Зачем делать для поиска по сайту специальные алгоритмы? Кстати релевантность страниц все равно определяется даже если вы просто ищете по сайту с пустым запросом.

WhiteSmartFox добавил 11-01-2011 в 16:06

Насколько я представляю архитектуру, Я сразу генерит 1000 результатов на каждый запрос (подумайте сами как можно узнать какой сайт на 500 месте в выдаче не сгенерировав 500 предыдущих), кешируя результаты пока их не попросит пользователь и соответственно чтобы увеличить кол-во результатов до 2000 нужно увеличивать и память кеша и время генерации КАЖДОГО запроса к Я, а это бессмысленные траты ресурсов, т.е. чтобы выдавать пр 50.000 результатов нужно увеличить в худшем случае мощности сервера (память и процессор) в 50 раз причем для всех запросов.

В любом случае чтобы узнать какой сайт будет на 1000 месте надо сгенерировать 999 предыдущих и расставить их по ревалетности, чтобы узнать какой сайт будет на 50 тыс месте, надо сгенерировать 49999 результатов и расставить их по ревалентности, есть разница?

P.S. Странный спор, аналог:

- Давайте сделаем сенокосилку с вертикальным взлетом

- Нафиг?

- Ну мы можем же её сделать?

- Зачем?

- Ну просто так. Сделаем?

- Да нафига?

Объясните ну нафига вам это сенокосилка с вертикальным взлетом? Ну возвращает Я 100 страниц выдачи и что? Нафига вам сдалась 101 страница? Вы так и не придумали случай когда кому-либо может потребоваться более 1000 результатов.

P.P.S. Кстати гугл тоже где-то на 90-93 страницы выдачи перестает показывать результаты по любому запросу.

И не собирался. Меня вообще не интересует вопрос "зачем?".

Ещё раз - при чём здесь сайт в выдаче?

Вам понятна разница между механизмом ответа на поисковый запрос, и механизмом ответа на запрос о количестве проиндексированных страниц? О каком кешировании речь? О какой генерации, и чего именно?

Искусство ради искусства и спор ради спора.

Предположим, что разница есть. Но можем также предположить тот скромный факт, что менять стандарты выдачи до 1000 страниц ради специфических запросов о количестве проиндексированных страниц, которые нужны только оптимизаторам и ни разу не волнуют обычного пользователя, не имеет смысла. В том числе и потому, что это даст увеличение нагрузки за счёт роботов-парсильщиков (то есть плюсов нет, а минусы имеются).

Нет, а вы знаете эти механизмы? Вы работали в Яндексе и знаете что эти механизмы принципиально различаются? Вы разобрались в принципах построения файла индексов Яндекса? Не говоря уже о том зачем реализовывать два разных алгоритма выдачи и для кол-ва проиндексированных страниц реализовывать другой алгоритм выдачи чем для простых запросов (возвращать более 1000 запросов только для данного случая)?