Ой, красота какая, а как СУБД лопаются? вон конденсаторы я знаю как лопаются, весело и непринужденно. а распределенная СУБД как?
amfora: Тем более, что в Яндексе наверное не полные дауны разработку ведут и должны знать, что новый алгоритм всегда нужно на тестовом серваке тщательно обкатать и только потом ставить на "боевой". Если они даже с этим облажались - ну тогда можно уже "спеть за упокой Яндекса".
Вы знаете, одно дело отладить на тестовой базе, а другое на рабочей гигантской, врезультате может быть неадекватность алгоритма, повышенные требования к ресурсам по сравнению с расчетными и т.д. а построить полное зеркало базы для экспериментов - думаю весьма и весьма дорого да и нужно ли.
amfora: Может быть даже проблема изначально была небольшая, а они начали спешно вносить изменения, расширять/перекраивать базу... и понеслась.
мое мнение - базу вообще редко трогают, она лежит себе и лжит, а вот подсистемы получения информации из нее могут менять.
amfora: А может им лучше у Рамблера поучиться программировать? Как известно, Рамблер держится на кластере раз в 10 слабее.
а может Вы их сами научите программировать? 😂 сравнение некорректно, у систем разные архитектуры, какое то небольшое улучшение может требовать огромных выч.ресурсов.
amfora: И что характерно - не припомню чтобы Рамблер так сыпался как сейчас Я.
Яндекс вести себя настолько неадекватно стал недавно, вот когда Рамблер будет с такой же базой, посещаемостью и частотой апдейтов, тогда можно будет сравнивать Я. и Р.
amfora: Кроме того - это никак не объясняет, почему Яндекс пишет "найдено 1584 сайта" и рисует список страниц "1 2 3 4 5...", а на четвертой список уже рвется...
а вот про это уже много раз писАли здесь, дубликаты ищет на лету при открытии страницы и выкидывает дубли, в связи с этим чем глубже - тем меньше страниц.
Класс, у меня в выдаче сейчас исключительно быстроробот :)
Evgenich,
с такой скоростью индексации, как сейчас, эти 100к страниц будут индексирвоаться месяцев 6, имхо
Kokh, при слишком частом - принимает. А браузер и подделать можно.
одскажите, пожалуйста, можно ли применить такой способ, автоматически вызывать
за очень частое обращения Ваш IP могут забанить.
Вот хранимая процедура - это база или подсистема получения?
Вы знаете, я не думаю, что у Яндекса есть хранимые процедуры в БД
К примеру вчера все работало, а сегодня часть данных не выдает.
кластер одним словом
Не аргумент.
У Гугля нагрузки на два порядка больше - проблем нет.
гы гы гы, у Гугли когда пройден порог в 100 000 серверов? - достаточно давно, а у Яндекса только тысячу насчитали.
Diversant,
наверное Вы будете удивлены, но прописать инфу для робота в robots.txt
Очень похоже, что "СУБД лопнула".
Ой, красота какая, а как СУБД лопаются? вон конденсаторы я знаю как лопаются, весело и непринужденно. а распределенная СУБД как?
Тем более, что в Яндексе наверное не полные дауны разработку ведут и должны знать, что новый алгоритм всегда нужно на тестовом серваке тщательно обкатать и только потом ставить на "боевой". Если они даже с этим облажались - ну тогда можно уже "спеть за упокой Яндекса".
Вы знаете, одно дело отладить на тестовой базе, а другое на рабочей гигантской, врезультате может быть неадекватность алгоритма, повышенные требования к ресурсам по сравнению с расчетными и т.д. а построить полное зеркало базы для экспериментов - думаю весьма и весьма дорого да и нужно ли.
Может быть даже проблема изначально была небольшая, а они начали спешно вносить изменения, расширять/перекраивать базу... и понеслась.
мое мнение - базу вообще редко трогают, она лежит себе и лжит, а вот подсистемы получения информации из нее могут менять.
А может им лучше у Рамблера поучиться программировать?
Как известно, Рамблер держится на кластере раз в 10 слабее.
а может Вы их сами научите программировать? 😂 сравнение некорректно, у систем разные архитектуры, какое то небольшое улучшение может требовать огромных выч.ресурсов.
И что характерно - не припомню чтобы Рамблер так сыпался как сейчас Я.
Яндекс вести себя настолько неадекватно стал недавно, вот когда Рамблер будет с такой же базой, посещаемостью и частотой апдейтов, тогда можно будет сравнивать Я. и Р.
Кроме того - это никак не объясняет, почему Яндекс пишет "найдено 1584 сайта" и рисует список страниц "1 2 3 4 5...", а на четвертой список уже рвется...
а вот про это уже много раз писАли здесь, дубликаты ищет на лету при открытии страницы и выкидывает дубли, в связи с этим чем глубже - тем меньше страниц.