- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. Помогите пожалуйста. Нужно составить robots.txt чтобы только роботы google и yandex индексировали сайт, остальным надо запретить.
User-agent: googlebot
Disallow:
User-agent: yandex
Disallow:
User-agent: *
Disallow: /
а разве робота гугл зовут не Googlebot? или это значения не имеет?
а разве робота гугл зовут не Googlebot?
Googlebot, Googlebot.
Это Kost специально написал, чтобы нашу реакцию проверить! ;)
Такжешь? 😂
т.е. googlebot и yandex? извините что переспрашиваю, но мне надо быть уверенным :)
twentyz, а почему бы вам не заглянуть в первоисточники?
http://www.google.com/support/webmasters/bin/answer.py?answer=40364
http://help.yandex.ru/webmaster/?id=996567
т.е. googlebot и yandex? мне надо быть уверенным
Да, всё верно: googlebot и yandex.
а почему бы вам не заглянуть в первоисточники?
User-agent: googlebot
Disallow:
User-agent: yandex
Disallow:
User-agent: *
Disallow: /
Вы уверены? Т.е. Если директива для конкретного бота идёт в начале файла, то потом он уже ничего не читает? Не получится так, что звёздочка в самой последней секции закроет доступ и googlebot, yandex тоже?
Кстати, а зачем такое надо? Ну придёт робот Рамблера. И почему от него нужно закрывать сайт, а от Яндекса не закрывать?
Не получится так, что звёздочка в самой последней секции закроет доступ и googlebot, yandex тоже?
Нет, не получится.
Робот при парсинге файла работает примерно по следующему алгоритму:
- Получает полностью файл;
- Выделяет в файле корректные секции;
- Ищет "свою" секцию;
- Если своя секция найдена принимает к руководству ее инструкции;
Если своей секции не обнаружено, ищет секцию для всех роботов;
Если обнаружена секция для всех роботов, принимает к руководству ее инструкции
Если общая секция не найдена, робот считает, что индексировать можно все без исключения.
Отсюда делаем сразу несколько выводов:
- Порядок секций в файле значения не имеет.
- Если будет найдена "своя секция", то робот будет руководствоваться только ее инструкциями, игнорируя все остальные.
- Отсутствие общей секции — разрешение индексировать весь сайт роботам, не упомянутым ни в одной секции.
http://notes.webartsolutions.com/archives/000213.html