- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Allow: index.php
Allow: contact.php
Эти две строки бессмысленны, они никогда не сработают. Все урлы начинаются со слеша / .
В данном случае ничего не изменится.
Просто раньше в таком варианте:
Disallow: */search/
Allow: /search/map.php$
Allow: /search/$
Disallow: /bitrix/
были бы запрещены для индексации все категории search, а по новым правилам, такой порядок директив будет обрабатываться также, как и указанный вами вариант. То есть первыми будут обрабатываться директивы для более "коротких" URL, независимо от того, в какой последовательности эти директивы будут прописаны.
В приведенном вами примере я вообще не вижу логики. Чем надо руководствоваться, чтобы вставлять директивы Allow между или после директив Disallow?
Раньше у меня при составлении файлов была примерно такая логика:
Т.к. директивы Allow всегда являются исключениями из директив Disallow, они всегда должны стоять выше и обрабатываться первыми.
Пожалуйста покажите на ваших конкретных примерах файлов и урлов - что поменялось?
Проверьте здесь - http://webmaster.yandex.ru/robots.xml
www.главная.ru запрещена.
Нужно еще: Allow: /
Если Allow: /
а потом Disallow: /
То смысла нет....😒
Может вот так сделать:
User-agent: Yandex
Allow: /
Allow: /index.php
Allow: /contact.php
Disallow: /*
Allow: index.php
Allow: contact.php
Эти две строки бессмысленны, они никогда не сработают. Все урлы начинаются со слеша / .
Да да, спасибо, это просто невнимательность.
Linux,
User-agent: *
Allow: /$
Allow: /contacts.php$
Disallow: /
Если только для Яндекса, то пропишите в юзер агенте Yandex. Не забудьте хост и путь к *.xml карте сайта написать.
Можно воспользоваться анализатором http://webmaster.yandex.ru/site/robots.xml
В гугл вебмастере есть аналогичный инструмент.
Мой изначальный вопрос все еще актуален! ;)
Linux,
User-agent: *
Allow: /$
Allow: /contacts.php$
Disallow: /
Если только для Яндекса, то пропишите в юзер агенте Yandex. Не забудьте хост и путь к *.xml карте сайта написать.
Можно воспользоваться анализатором http://webmaster.yandex.ru/site/robots.xml
В гугл вебмастере есть аналогичный инструмент.
Мой изначальный вопрос все еще актуален! ;)
Большое спасибо,
а вот так как я написал не получится? просто самому интересно :)
User-agent: Yandex
Allow: /
Allow: /index.php
Allow: /contact.php
Disallow: /*
Большое спасибо,
а вот так как я написал не получится? просто самому интересно :)
User-agent: Yandex
Allow: /
Allow: /index.php
Allow: /contact.php
Disallow: /*
Так, как вы написали не получится.
Так, как вы написали не получится.
Почему не получится?
А так, как вы написали, для гугла работает тоже ?
Allow: /$
Allow: /contacts.php$
Disallow: /
Почему не получится?
Потому что Яндекс по умолчанию ко всем дерективам добавляет *
т.е. Allow: / и Allow: /* в глазах робота Яши, одно и то же, а вот символ $ ставит все на свои места.
Почему не получится?
А так, как вы написали, для гугла работает тоже ?
Для гугла тоже будет работать!
Ваш вариант неправильный по нескольким причинам.
1. Знак * дописывается ко всем урлам, где нет знака $, т.е. / и /* одно и то же.
2. Индексировать главную страницу по двум урлам / и /index.php неправильно
3. В конец урлов, в вашем случае, надо ставить знак $ иначе откроете для индексации весь мусор, типа /contacts.php?utm_source=xxx&utm_medium=xxxx ну и т.д. (выше в этом же топике про подобные проблемы кто-то уже упоминал)
В приведенном вами примере я вообще не вижу логики. Чем надо руководствоваться, чтобы вставлять директивы Allow между или после директив Disallow?
В том-то и фишка, что очередность написания директив теперь не будет иметь смысла - их обработка будет зависеть от длины префикса URL. В примере, я лишь указал, что порядок директив теперь не играет роли. Это и является международным стандартом, к которому стремится Яндекс.
ListOn добавил 13.10.2011 в 17:47
Ну, пример из блога Яндекса же:
User-agent: Yandex
Disallow: /
Allow: /catalog
По старым правилам обработки для индексации запрещен весь сайт, по новым - весь, кроме /catalog