Может, всегда, когда показывается description? У кого-нибудь есть контрпример?
Красным (иногда) выделяется ключевое слово, входящее в тег description, если он показывается в выдаче
Так, еще один невежливый робот, который по мнению представителей Яндекса и не робот вовсе. :) Ладно, закладочник, который задает запрос не GET, а HEAD. Ну, с натяжкой, робот D, который обрабатывает сабмит через Addurl (т.е. запускается руками). Но зеркальщик-то ПОЧЕМУ НЕ РОБОТ по-вашему??? Только потому, что берет за один заход всего 10-15 страниц??? Невежливых агентов, проверяющих позиции сайтов в выдаче Яндекса, которые за заход заберут 10-15 страниц, вы ведь роботами наверняка посчитаете и дадите отлуп за несоблюдение своего robots.txt!
Не на всех. У поддоменов стран СНГ показываются вроде только свои вакансии и резюме. А вот на окружных российских поддоменах действительно все вперемешку. Вообще, это вопрос интересный - считать ли поддомен самостоятельным ресурсом с уникальной информацией, если он содержит только ту информацию, которая есть на основном сайте, всего лишь отфильтрованную по некоторому признаку?
Мне известны случаи, когда Яндекс банил сайты, на которые вели редиректы
Памятуя недавний разговор, лучше такое объявление: Does anybody want to say to me "Sasha, buy notebook from us. PLEASE" :D
Кстати, г-н melkov, давно мучил вопрос. У вас в советах вебмастеру написано:
То есть сайты, которые по мнению вебмастера должны считаться неглавными зеркалами, должны закрыться от индексирования файлом robots.txt. Допустим, до закрытия от индексации они были были проиндексированы, склеены и все такое. Предположим, что затем содержимое одного из второстепенных зеркал изменяется. Но Яндекс, по идее, не может узнать об этом, так как ему запрещена индексация этого зеркала. И, стало быть, два различных сайта будут продолжать считаться зеркалами со всеми вытекающими. Или же роботу-зеркальщику robots.txt не указ и он будет периодически проверять запрещенные к индексации зеркала?
Делает.
А так можно сбежать с работы на весь день :)
Раз делают, значит, наверное, можно. Это ж модерируемый каталог и, стало быть, сами редакторы позволяют такое.
