- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет всем, подскажите плиз, что означает эта строка в robots.txt:
Allow: /*googlebotallowed=1
Не могу врубиться, что означает эта команда гугловскому боту ?
Не могу врубиться, что означает эта команда гугловскому боту ?
Почему это вы решили, что гугловскому боту? Нам это не видно.
Выбор бота происходит в строке
User-agent:
а вы ее не показали.
Почему это вы решили, что гугловскому боту? Нам это не видно.
Выбор бота происходит в строке
User-agent:
а вы ее не показали.
Да, виноват. Это гугловскому боту. Исправляюсь:
User-agent: Googlebot
Disallow: /............
Disallow: /............
Disallow: /............
Allow: /*googlebotallowed=1
Что это может быть ?
Разрешено индексировать все страницы, которые имеют форсированный динамический параметр googlebotallowed=1 (т.е. передающийся через GET).
Любопытная структура, а где вы её увидели?
Любопытная структура, а где вы её увидели?
хотя и не ко мне вопрос,
но увидеть можно тут http://www.ozon.ru/robots.txt
хотя и не ко мне вопрос,
но увидеть можно тут http://www.ozon.ru/robots.txt
Озон проект масштаба того ещё. С их комлексным robots.txt, удивляться такой строке бессмысленно.
Для проектов среднего/малого масштабов на моей практике необходимость так разграничивать индексируемые страницы не встречалась.
Разрешено индексировать все страницы, которые имеют форсированный динамический параметр googlebotallowed=1 (т.е. передающийся через GET).
не могли бы вы чуть подробнее рассказать что означает это ? Я просто не совсем в программировании шарю. Для чего это вообще нужно ? Что это дает ?
не могли бы вы чуть подробнее рассказать что означает это ? Я просто не совсем в программировании шарю. Для чего это вообще нужно ? Что это дает ?
Цели могут преследоваться совсем разные - я же не знаю, кто и почему составлял именно такой robots.txt.
Судя по тому примеру, который вы привели, есть на сайте ряд страниц, например:
/page01.php
/page02.php
/page03.php
Страницы эти могут принимать разные динамические параметры. Например:
/page01.php?ref=123
/page03.php?login=true¶m=value
И так далее. И Гуглу эти страницы разрешено индексировать только в том случае, если к этому динамическому адресу приписана переменная googlebotallowed=1.
А с какой целью сделана такая структура - я, увы, не телепат и знать не могу. :)
Alex_I, полагаю, этого FAQ про robots.txt будет вполне достаточно.
Поскольку вы не указали, про какой именно сайт идет речь, тут вроде и обсуждать нечего.
Цели могут преследоваться совсем разные - я же не знаю, кто и почему составлял именно такой robots.txt.
Судя по тому примеру, который вы привели, есть на сайте ряд страниц, например:
/page01.php
/page02.php
/page03.php
Страницы эти могут принимать разные динамические параметры. Например:
/page01.php?ref=123
/page03.php?login=true¶m=value
И так далее. И Гуглу эти страницы разрешено индексировать только в том случае, если к этому динамическому адресу приписана переменная googlebotallowed=1.
А с какой целью сделана такая структура - я, увы, не телепат и знать не могу. :)
не могу понять, что точно это означает, то есть это означает, что если стоит googlebotallowed=1, то гугл будет индексировать урлы, передающие параметры?
не могу понять, что точно это означает, то есть это означает, что если стоит googlebotallowed=1, то гугл будет индексировать урлы, передающие параметры?
Гугл будет индексировать все урлы, где есть параметр googlebotallowed=1.