- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть на сайте куча урл типа /bla-bla/?id=1&more=2
Нужно разрешить к индексации /bla-bla/?id=1, но запретить /bla-bla/?id=1&more=xxx
xxx может быть равным 1 или 2
User-agent: *
Disallow: /bla-bla/*&more=1
Disallow: /bla-bla/*&more=2
Верна ли такая запись?
Есть на сайте куча урл типа /bla-bla/?id=1&more=2
Нужно разрешить к индексации /bla-bla/?id=1, но запретить /bla-bla/?id=1&more=xxx
xxx может быть равным 1 или 2
Цитата:
User-agent: *
Disallow: /bla-bla/*&more=1
Disallow: /bla-bla/*&more=2
Верна ли такая запись?
Нельзя. Пункт "Использование в Disallow символов подстановки"
Тоесть единственный вариант - выводить на таких страницах <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">?
Тоесть единственный вариант - выводить на таких страницах <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">?
Можно. Но лучше в роботс ввести:
Disallow: /*&more=1
Disallow: /*&more=2
Спасибо :)
Нужно разрешить к индексации /bla-bla/?id=1, но запретить /bla-bla/?id=1&more=xxx
Disallow: /*&more=*
Те роботы которые игнорируют символы подстановки, игнорируют зачастую и сам роботс, так что можно это не принимать в расчёт. Вообще стоит проверять под конкретную ПС, например для Яндекса тут: http://webmaster.yandex.ru/robots.xml
Disallow: /*&more=*
Не подойдет это, так как такая штука запретит к индексации все разделы, а мне надо только /bla-bla/ с &more. Да еще всякие условия есть, основанные на других параметрах урл. Роботсу без * точно не под силу такое.
Так что просто из двига детектю параметры и вывожу <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> если нужно.
Не подойдет это, так как такая штука запретит к индексации все разделы, а мне надо только /bla-bla/ с &more. Да еще всякие условия есть, основанные на других параметрах урл. Роботсу без * точно не под силу такое.
Ну да. Про бла-бла, забыл, тогда:
Disallow: /bla-bla/*&more=*
Я звёздочку использую, всё нормально.
Противоречивая у вас информация :)
http://robotstxt.org.ru/RobotstxtErrors#h83-9
для гугла будет работать звездочка в дисаллов, а в яше нет, я правильно понял? :)
pistol добавил 11.01.2010 в 11:28
Еще вопросик.
Поступила непроверенная информация, что <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> игнорирует яндекс. Миф или реальность?
для гугла будет работать звездочка в дисаллов, а в яше нет, я правильно понял?
У меня была похожая ситуация и Яша нормально воспринял символы подстановки.
Пример:
Disallow: /*action.php
Disallow: /*xml-rss2.php
Disallow: /*rsd.php
Disallow: /*catid
Все ненужные страницы были успешно исключены.
Противоречивая у вас информация
Кого вы спрашиваете? Звёздочка нормально работает и в Гугле и в Яндексе. А роботов, которые парсят сайты много, типа Flexum, может там не работает, впрочем не проверял.