Слово "обязан" тут было бы уместно употребить по-другому: "любая коммерческая организация обязана стремиться получать прибыль".
А кто будет определять качество функционирования? Если какой-то сайт не включили в индекс, значит алгоритм или человек в Яндексе считают, что от этого пользователю Яндекса будет лучше. Например, сайт содержит 200000 страниц неуникального контента, значит нет смысла тратить на его индексацию кучу ресурсов, они же не безграничны.
Наверняка у Яндекса есть и количественные способы оценки качества, полноты поиска. Яндекс - он сделан не для вебмастеров, а для пользователей.
Дык, поэтому и со скидкой :)
Где-то тут пробегала ссылка на сайты вице-премьеров. Правда у одного (на букву М) сайт уже давно, а у другого сайт только что открылся, вот интересно, сколько на них ссылок. Когда я смотрел, было видно, что ссылок на первый дофига, на второй было уже 20 штук естественных, но по каталогам их не гоняли :).
Правда, это исключение, вице-премьеров и потенциальных кандидатов в Гаранты не так много :)
А что, не так плохо, по 5$ за ссылку, причем надолго. Правда ссылки с непредсказуемым анкором.
Zexh, вы тут не на заборе, а на форуме, и в этом разделе есть правила. А если их не соблюдать, то и получается вот такая фигня.
Если, например, закрыть меню навигации, то робот может и не узнать об остальных страницах сайта.
У пациента шлем (robots.txt) одет задом наперед, лучше вообще уберите или оставьте пустой файл. Это лучше, чем с ошибкой, что подумают о квалификации тренера ...
Почитайте http://robotstxt.org.ru, если с английским напряг.
Аккуратнее, а то Главный Арбитр поставит клизму и пациенту, и тренеру :).
Это вы напрасно так считаете, потому что в стандарте написано совсем другое:
"any URL that starts with this value will not be retrieved. For example,
Disallow: /help
disallows both /help.html and /help/index.html, whereas
Disallow: /help/
would disallow /help/index.html but allow /help.html. "
А все урлы начинаются со слеша.
search: ссылочное ранжирование, внешние факторы, регистрация в каталогах
Пациент должен быть не только хорошо накормлен (ключевиками на главной странице), но и хорошо тренироваться (ссылки), чтобы бегать быстрее.
Вот вам градусник. Рекомендую разнообразные тренировки, от таких монотонных толку не много.
Можете попробовать легкие препараты (ссылки) типа sape.ru, но не увлекайтесь. Препараты покупайте с предварительной проверкой (на непот), т.к. половина их них бесполезны (впрочем и безвредны).
Ни в коем случае не удалять проиндексированное зеркало.
Элементарно, обрабатывать расширение .txt через SSI и смотреть на HTTP_HOST. Пример был раньше в старом хелпе Яндекса.
ИМХО, это может ускорить, но сначала запрещенное зеркало вылетит, может получиться пауза. А при теперешних интервалах между апдейтами это может быть долго.
Примерно так:
<!--#if expr=" \"${HTTP_HOST}\" != \"www.site.ru\" " -->
User-Agent: *
Disallow: /
<!--#endif -->
Удобно, что действует на все поисковики и дальнейшее зависит только от их скорости восприятия robots.txt.
Но причина, по которой надо прибегать к радикальным методам, должна быть веской.
Очень просто, с главной страницы не ссылаться ни на одну внутреннюю, а со всех внутренних ссылаться на главную.
Только у вас так фигня получится, а не сайт. Мне это напоминает барона Мюнхаузена, который себя вытащил за волосы из болота. Для поднятия веса главной страницы на нее должны ссылаться другие сайты.
P.S. Чтобы вебмастера ставили ссылки на ваш сайт без применения насилия, не пишите буквы на этом ужасном фоне.