- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Может быть для кого-то вопрос покажется совсем странным, или простым, но столкнулся с вопросом.
Может ли команда
allow: /
в robots.txt закрыть от индексации сайт?
Где то читал, не помню, где, что это, мол, распространенная ошибка веб-мастеров, которые думают, что этим оператором открывают сайт для индексации, а потом ломают голову почему сайт не индексируется. Я знаю ,что эта робот в основном предназначен для рекомендации к запрету страниц сайта, и оператор allow уместней использовать вместе с disallow. А что, если просто использовать тег так:
User-agent: *
allow: /
sitemap: site.ru/sitemap.xml
User-agent: Yandex
allow: /
host: site.ru
Не запрещает ли робот индексацию сайта? Может ли пустой оператор Allow означать то же что и disallow?
Allow: / - не общепринятая.
Обычно пишут Disallow:
Allow: / - не общепринятая.
Обычно пишут Disallow:
а если просто будет написано "Allow: / "
Закроет ли этот оператор сайт от индексации?
а в чем проблема открыть хелп и прочитать?)
а если просто будет написано "Allow: / "
Закроет ли этот оператор сайт от индексации?
В саппорте Яши всё же написано
allow - значит посмотри на меня всего, disallow - не смотри на меня
Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow.
Примеры:
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам,
# начинающимся с '/cgi-bin'
В соответствии со стандартом перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки.
Символ # предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается.
Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow
Примеры:
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
Примечание. Недопустимо наличие пустых переводов строки между директивами User-agent, Disallow и Allow.
Ок, спасибо всем