- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Для закрытия индексации страниц третьего уровня с URL вида http://site.ru/category1/id_item я использую правило:
Disallow: /category1/*
Страницы закрыты, все хорошо. Но это же правило, судя по Вебмастеру Яндекса, закрывает от индексации и страницу http://site.ru/category1/. В целом можно, конечно, ссылаться на список товаров без закрывающего слэша (то есть http://site.ru/category1). Но придется менять код сайта + на такие страницы уже получено много ссылок.
Как корректно закрыть от индексации через robots.txt страницы третьего уровня, при этом не ограничивая доступ к адресам страниц второго уровня с закрывающим слэшем?
Спасибо.
User-agent: *
Allow: /category1/$
Allow: /category2/$
Disallow: /category1/
Disallow: /category2/
User-agent: *
Allow: /category1/$
Allow: /category2/$
Disallow: /category1/
Disallow: /category2/
Насколько я понял, спецсимвол $ - это отмена автоматически присоединяемого в конец каждой строки символа *. Но тогда ваши правила открывают для индексации страницы третьего уровня, а следующие запрещают индексацию второго уровня.
Мне хотелось бы решить обратную задачу:
http://site.ru/category1/ - индексируется
http://site.ru/category1/id_item - не индексируется (таких страниц много, id_item = integer)
При этом правило Disallow: /category1/* запрещает к индексации каждую из этих страниц, разрешая только http://site.ru/category1 (именно в таком виде, без закрывающего слэша). Оно мне не подходит.
Или я что-то не так понял?
Насколько я понял, спецсимвол $ - это отмена автоматически присоединяемого в конец каждой строки символа *. Но тогда ваши правила открывают для индексации страницы третьего уровня, а следующие запрещают индексацию второго уровня.
Мне хотелось бы решить обратную задачу:
http://site.ru/category1/ - индексируется
http://site.ru/category1/id_item - не индексируется (таких страниц много, id_item = integer)
При этом правило Disallow: /category1/* запрещает к индексации каждую из этих страниц, разрешая только http://site.ru/category1 (именно в таком виде, без закрывающего слэша). Оно мне не подходит.
Или я что-то не так понял?
siv1987 уже дал вам рабочий вариант. Вы его хоть тестировали? Для изучения вам - http://help.yandex.ru/webmaster/?id=996567
siv1987 уже дал вам рабочий вариант. Вы его хоть тестировали? Для изучения вам - http://help.yandex.ru/webmaster/?id=996567
Именно эту страницу я и читал. Видимо, не дошло. Прочитаю еще раз.
Naydimenya добавил 17.12.2011 в 14:45
User-agent: *
Allow: /category1/$
Allow: /category2/$
Disallow: /category1/
Disallow: /category2/
До меня дошло. Правила Allow разрешают указанную страницу, правила Disallow запрещают третий уровень, поскольку синтаксис позволяет не ставить звездочку в конце.
Разобрался, все работает. Спасибо, вы очень помогли.
Как разберетесь, то отпишите как все-таки сделали правильно.
Как разберетесь, то отпишите как все-таки сделали правильно.
Вот, в предыдущем посте описал.