- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Приветствую!
у меня в robots.txt прописано:
Disallow: /catalog
Host: moyhost.ru
именно для яндекса это тоже самое что ?
Disallow: /catalog
Host: moyhost.ru
по проверке яндекс выдает - Файл robots.txt корректен
Вообщем яндекс понимает - User-agent: * - или к нему надо имено обращаться как - User-agent: Yandex ?
- User-agent: Yandex, если персонально к нему любимому обращаетесь, иначе *
- Host лучьше использовать в персональной секции для Яндекса
User-agent: * обозначает для всех. Яндекс понимает 🚬
Только обсуждали /ru/forum/184321 смотри от 18 поста.
Кстати, вроде тоже корректно и должно быть правильно:
1. В одной секции указываем для всех роботов общие инструкции
2. В дополнительной секции для яшки указываем его дополнительную инструкцию HOST (ибо её ввёл и понимает только яшка: http://webmaster.yandex.ru/faq.xml?id=996583).
User-agent: *
Disallow: /catalog
User-agent: Yandex
Disallow: /catalog
Host: moyhost.ru
Исключение составляет строка User-agent: *. Она означает, что следующие за ней Disallow относятся ко всем роботам, кроме тех, для которых есть свои строки User-agent.
http://www.rambler.ru/doc/robots.shtml
Понравился варинт DyaDya именно так себе переделал
Disallow: /catalog
User-agent: Yandex
Disallow: /catalog
Host: moyhost.ru
спасибо
Вообщем яндекс понимает - User-agent: * - или к нему надо именно обращаться как - User-agent: Yandex ?
akkawa, без разницы. ;)
Этой записи более чем достаточно для роботов всех ПС.
Предупреждая возможные вопросы об игнорировании секции с директивой host другими ПС, как не соответствующей стандартам, могу сказать, что любая неизвестная директива просто напросто игнорируется и, собственно, никак не влияет на парсинг остальных директив в секции. И до, и после неизвестной директивы.
Новый вопрос возник:
а сколько по времени происходит склейка по Host яндексом, еще в добавок 301 редирект настроен, в соответствие с Host
у меня дней 20 уже прошло, до сих пор ничего не изменилось с вариантом
Disallow: /catalog
Host: moyhost.ru
из-за этого появилась мысль внести изменения именно на User-agent: Yandex
Тоже самое без лишних дополнений 🚬
а сколько по времени происходит склейка по Host яндексом
Иногда несколько месяцев. Ждите робота зеркальщика (compatible; Win16; H).
Иногда несколько месяцев. Ждите робота зеркальщика (compatible; Win16; H).
несколько месяцев... 🙅
А если в яндекс письмо написать, процесс возможно ускорить таким образом?
Тоже самое без лишних дополнений 🚬
Яндексу ничего не запрещено, двойка