- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Господа, подскажите ,пожалуйста, для того, чтобы определить главное зеркало, необходимо составлять robots.txt с указанием
User Agent: *
Host: www.glavnoe-zerkalo.ru
только для второстепенных зеркал или для всех? И как себя поведет Яндекс, если для www.glavnoe-zerkalo.ru будет написано то же самое?
В этой теме (3-ий пост сверху) говорится, что
User-Agent: Yandex
Disallow: /
Host: www.myhost.ru
равняется:
User-Agent: Yandex
Disallow: /
Disallow: /
(2 раза)
Вот и хотела уточнить, может ли в данном случае
Host: www.glavnoe-zerkalo.ru
быть принято за
Disallow: /?
и главное зеркало тем самым будет запрещено к индексированию?
Может быть я что-то не правильно поняла.
На http://www.yandex.ru/info/webmaster2.html#robots такой информации нет.
Host: www.glavnoe-zerkalo.ru
Так неправильно, хотя бы одна строка с Disallow должна быть.
Host: www.glavnoe-zerkalo.ru
быть принято за
Disallow: /?
и главное зеркало тем самым будет запрещено к индексированию?
Подразумевается, что Host: www.glavnoe-zerkalo.ru можно приравнять к Disallow: / для неосновных зеркал.
AiK недавно писал, что секция с директивой Host, предназначенная для всех роботов, некоторыми роботами может игнорироваться, так что лучше употреблять Host только в секции для Яндекса.
Cherny, то есть должно быть написано:
User Agent: *
Disallow: /
Host: www.glavnoe-gerkalo.ru
А тот вариант, который я написала, Яндексом будет игнорироваться? Или другими поисковиками? Меня просто на данный момент интересует только Яндекс. И, если я правильно поняла, главное зеркало индексироваться будет, независимо от того, что есть robots.txt
Правильно так:
Главное зеркало Яндексом будет индексироваться полностью, остальные индексироваться не будут, с Гуглем, рамблером и прочими разбираться надо будет отдельно
Правильно так:
Главное зеркало Яндексом будет индексироваться полностью, остальные индексироваться не будут, с Гуглем, рамблером и прочими разбираться надо будет отдельно
А ссылки на неглавные зеркала учитываться будут?
Яндекс говорит, что будут, у меня последний месяц имеются некоторые сомнения, сейчас проверяю...
Cherny, а вообще по правилам такая конструкция пишется только на второстепенных зеркалах, или в том числе и на главном?
Яндекс говорит, что будут, у меня последний месяц имеются некоторые сомнения, сейчас проверяю...
Учитываются. Может, конечно, "вес" они имеют меньший.
Поправочка: с конструкцией не знаю, я имела в виду, если Яндекс сам склеит зеркала.
Без разницы.
Как вы, однако, дружно на меня насели! ;)
Учитываются. Может, конечно, "вес" они имеют меньший.
Я имею ввиду именно при такой конструкции в роботсе.
Дык это ... семейный подряд :D
После склейки директива Host на учет ссылок влиять не должна, а то что же иначе получится - будем иметь два варианта склейки?
Проверялось?