- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Привет всем. Подскажите Как запретить индексацию Всех товаров в robots.txt. Закрываем по причине: на всех товарах одинаковое описание, меняются только название, картинки и цены.
И оставить только каталог, разделы, подраздел вот файл.
Заранее благодарю!
Что добавить, что убрать?
Allow: /uploads/
Disallow: /install*
Disallow: /mg-admin*
Disallow: /mg-core*
Disallow: /mg-pages*
Disallow: /mg-plugins*
Disallow: /mg-templates*
Disallow: /personal*
Disallow: /enter*
Disallow: /forgotpass*
Disallow: /payment*
Disallow: /registration*
Disallow: /compare*
Disallow: /cart*
Disallow: *applyFilter=*
Disallow: *?inCartProductId=*
Disallow: *?inCompareProductId=*
Disallow: /affiliate
Disallow: /dostavka
Disallow: /contacts
Disallow: /feedback
User-agent: *
Allow: /uploads/
Disallow: /install*
Disallow: /mg-admin*
Disallow: /mg-core*
Disallow: /mg-pages*
Disallow: /mg-plugins*
Disallow: /mg-templates*
Disallow: /personal*
Disallow: /enter*
Disallow: /forgotpass*
Disallow: /payment*
Disallow: /registration*
Disallow: /compare*
Disallow: /cart*
Disallow: *applyFilter=*
Disallow: *?inCartProductId=*
Disallow: *?inCompareProductId=*
Disallow: /affiliate
Disallow: /dostavka
Disallow: /contacts
Disallow: /feedback
Host: sait.ru
Sitemap: http://sait.ru/sitemap.xml
Подскажите Как запретить индексацию Всех товаров в robots.txt
Надо ЗАПРЕТИТЬ ИНДЕКСАЦИЮ ВСЕХ ТОВАРОВ В ROBOTS.TXT!!!
зы угадать конечно можно, но лень.
Что добавить, что убрать?
добавить:
Disallow: /типовая часть урл товара, которые не пересекается с страницами не товара
А вот как урл у вас на сайте формируется мало кто знает. Да и разбираться в этом лучше всего должны вы...
Не выплесните с водой дитя.
А не лучше сделать генерируемое описание на каждый товар в зависимости от характеристик, названия и цены?
А блок с дубль текстом закрыть в NOINDEX
добавить:
Disallow: /типовая часть урл товара, которые не пересекается с страницами не товара
А вот как урл у вас на сайте формируется мало кто знает. Да и разбираться в этом лучше всего должны вы...
А как их добавлять ? вот у меня товаров 700+ наименований.
В robots 700 строк добавлять или в строчку или как?
вот названия: /835-velikaja-bashnja /836-krasota-nochnogo-goroda /847-za-gorodom-rassvet
или так в строку?
disallow: /835-velikaja-bashnja, /836-krasota-nochnogo-goroda, /847-za-gorodom-rassvet
---------- Добавлено 05.04.2017 в 15:05 ----------
А не лучше сделать генерируемое описание на каждый товар в зависимости от характеристик, названия и цены?
А блок с дубль текстом закрыть в NOINDEX
Товаров у меня 700+ на каждый писать разное описание, что то не хочется🍿
---------- Добавлено 05.04.2017 в 15:39 ----------
Начитался многое и пришел к решению. не знаю правильно или нет:)
Может так правильно или нет?
После /name_category/после идут товары их и надо скрыть
Disallow: /name_category/*/*
Правильно?!
После /name_category/после идут товары их и надо скрыть
Disallow: /name_category/*/*
Правильно?!
да, если все вложенные урлы имеют закрывающий слеш. Т.е. страницы вида /name_category/* будут доступны.
Можно проверить тут:
https://webmaster.yandex.ru/tools/robotstxt/
Всем доброго дня!
Форумчане, напомните пожалуйста как в роботсе правильно прописать чтобы не индексировалось начиная от /itemlist/ и после
site.ru/o-kompanii/itemlist/category/kwo.html
Заранее благодарен!
Левик я сам только познакомился с роботс.тхт, задача тобой описанная решается так:
Disallow: /itemlist/
Если не прав, поправьте.
Подскажите начали появляться страницы в индексе вот такого типа
домен/категория/подкатегория/?_=1451586006828
Фильтр вроде формирует ссылки по другому. Может кто-то знает от куда такие ссылки могут взяться?
Ну и самый главный вопрос как прописать в robots запрет на индексацию ссылок с "?"
За ранее спасибо!