- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Джентльмены, вот такая вам задачка.
представьте есть интернет магазин, на котором большое количество страниц, разделов и самое главное пользовательских фильтров по размерам, характеристикам и так далее. Есть три типа страниц два из которых надо закрыть от индексации, а один оставить.
http://www.site.ru/katalog/tehnika/gazonokosilka/~/cats/brand/bosch/sl_price_from/*/*/ и так далее - закрыть эту и все подобные страницы.
http://www.site.ru/katalog/tehnika/benzopily/~/page/5/ - надо закрыть и все подобные страницы.
http://www.site.ru/katalog/tehnika/lesopily/~/marka/lg/ - не надо закрывать.
Понятно, что можно было бы без проблем закрыть все ненужные адреса по кусочку урла с /~/ но тогда закроются и марки товаров.
Вопрос: что писать в Disallow :confused:
Есть вариант, но пока не проверенный, а хотелось бы услышать мнение людей, которые сталкивались с чем-то подобным.
Disallow: /katalog/*~
Allow: /katalog/*~/marka/
Disallow: /katalog/*~
Allow: /katalog/*~/marka/
точняк? 😕
А что не так? В чем сомнения?
точняк? 😕
Есть супер-инструмент: http://webmaster.yandex.ru/robots.xml
Вводите туда данный вам выше robots.txt, любые урлы, которые хотите проверить, и вуаля :)
Disallow: /katalog/tehnika/benzopily/*/page/5/
Достаточно этого, так как
/katalog/tehnika/lesopily/*/marka/lg/ закрываться не будет. В вебмастере можно проверить.
Как-то работал над более сложной задачей :) После смены числолых урлов их нужно было все в запрет, так как ссылок с ними было уйма, да и для оперативного индексирования.
http://bar-line.ru/robots.txt