- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Я хочу запретить роботам индексировать некоторыек страницы сайта. Сайт электронного магазина (audiomarket.ru), я хочу чтобы индексировались только страницы с товарами (product.php?prod_id=xxx), а запретить страницы типа category.php?cat_id=xxx, prodlist.php?cat_id=xxx и проч.
Так вот вопрос: если я в robots.txt напишу:
User-agent: *
Disallow: /category
Disallow: /prodlist
Disallow: /cart
будет ли робот ходить по этим ссылкам или нет, так как ранее в этом форуме я читал, что инструкции запрещают роботам и индексацию и дальнейшее следование по ссылкам (NOFOLLOW, NOINDEX).
И еще: какие поисковики кроме Яндекса понимают META NOFOLLOW и META NOINDEX?
По идее файл robots.txt запрещает роботам посещать те или иные страницы/каталоги на сайте. Вот что написано на http://www.robotstxt.org/wc/exclusion.html :
The Robots Exclusion Protocol is a method that allows Web site administrators to indicate to visiting robots which parts of their site should not be visited by the robot.
Но все зависит от того, насколько "вежлив" конкретный робот.
В том то и дело, что по идее![]()
То есть чтобы робот бегал по ссылкам, но не индексировал их, писать надо META NOINDEX?
А может еще какие пути есть? Тогда придется наверно делать страницу со списком всех товаров, чтобы именно через нее роботы добирались до конкретных товаров в 1 шаг от главной страницы, а все промежуточные (category, prodlist) запрещу.