скачут беки

Яндекс на ходу клеит бэки. Обсуждалось не раз.

Убирает нечеткие дубли, для быстроты - находу.

А вот за каким хреном это вообще делать? Я ещё понимаю убирать дубли страниц из выдачи, но беки... Мне кажется, что по сравнению с нагрузкой поиска обычными пользователями, та нагрузка, что привносит собой просмотр беков просто ничтожна.

А нафига оставлять дубли?

А может дадим пользователю решать, что дубли, а что нет? Или лучше пусть будет выдача по 60-90 сайтов из 2000? Вон у Рамблера никакой фильтрации не замечал - в выдаче по 4-5 тыс сайтов, и ничего не загинается поисковик. Да, у рамблера траффика в 2-2,5 раза меньше... И что? Увеличение парка серверов в 2-2,5 разорит Яндекс?

jorevo, тебе очень интересно видеть подряд 250 одинаковых страниц? Парнтерки, передранные статьи и т. п. Мне, например, не очень.

Нащёт "подряд", это на вашей совести, а если по существу мне приятней видеть всю выдачу, из которой я выберу сам, что мне нужно, чем милостливо подсунутые мне 70 сайтов. Если программисты Яндекса не могут столько времени разобраться с кешированием, удалением дублей и пр. то пусть лучше двигаются по экстенсивному пути развития, наращивая количество серверов, а программирование оставят тем, кто в этом понимает.

Кто сказал, что не могут?:)

Не могут, BigBrother говорил. Позавчера беседовал с И. Сегаловичем, так он очень удивился, что по слову "москва" всего 10 страниц. С его компутера все страницы видны, и я долго пытался убедить его, что глюк есть. В итоге, видимо, опыт удалось воспроизвести через прокси и он отнес мои запросы спецам :) Вообще, забавно как-то, с другой стороны странно 😕

господа, вы не путайте просмотр бэков и выдачу простую

в бэках нет никакой склейки на лету, все это чушь. объяснятся всего лишь тем, что не все сервера кластера успевают отдать информацию. лимит по времени жесткий. проверяется элементарно. сделайте запрос часа в 4 ночи, когда нагрузка минимальна. показывается все. проверено не 1, не 2 и даже не 10 раз на разных сайтах. регулярно пользуюсь этим, когда надо проверить свои бэки или собрать беки конкурентов для пополнения базы каталогов.