- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Правильно ли я понимаю, что конструкция типа:
----------
User-Agent: *
Host: www.myhost.ru
--------
в robots.txt запретит для индексации все страницы www.myhost.ru но НЕ ЗАПРЕТИТ все страницы http://myhost.ru
Дело вот в чем. Есть сайт, и так исторически сложилось(доменное имя длинное), что он проиндексирован и выдается в результатах без www. Все ссылки на него стоят тоже без www. При переиндексации Яндекс считает, что это 2 разных сайта, с разными "Кто ссылается", с разным ТИЦ. Я не против "склейки", но хочу, чтобы она была в пользу "без www", вот и думаю запретить его.
Главный вопрос: Конструкция robots.txt правильная???
Вроде так. Только я бы в User-Agent указал yandex, ведь другим роботам этого знать не надо.
----------
User-Agent: *
Host: www.myhost.ru
--------
в robots.txt запретит для индексации все страницы www.myhost.ru но НЕ ЗАПРЕТИТ все страницы http://myhost.ru
Неправильно, так как в качестве параметра директивы host указывается имя основного зеркала.
В вашем случае должно быть:
User-Agent: *
Host: myhost.ru
См. http://www.yandex.ru/info/webmaster2.html#virtual
Упс, поспешил, больше не буду. :)
Спасибо! Ээх, хорошо что вначале спросил... :)
А ведь говорили же как только ввели Host, AiK кажется, непонятно что в туда писать надо, обычно запрещающее что-то после User-Agent идёт. Не послушал Яндекс человека...
User-Agent: *
Host: www.myhost.ru будет значит то, что главный сайт www.myhost.ru, а myhost.ru - зеркало. Я об этом уже недавно спрашивал. Официальную поддержку из наших 3х SE официально только Яндекс указал, если не ошибаюсь
yax, небольшой опрос (:)):
1) Откуда Вы узнали о директиве host?
2) Почему Вы (ошибочно) решили составить файл robots.txt именно так, как в Вашем первоначальном постинге?
небольщой допрос 😂
Лично я о "хост" узнал с Яндекса. У Вас же там и лежит это. Кстати, я бы выложил один полноценный живой Роботс.тхт, а не описания фрагментов, а то поначалу не особо то поймешь, как их компилировать воедино правильно.
Yandex вообще реагирует на директиву host? Прописал месяц назад основной адрес в robots.txt. До сих пор в выдаче висит зеркало.