- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Пришел сайт на продвижение на самописном движке. У него на 4-ом и последующих уровнях вложенности страниц идет полное дублирование контента. Некоторые из таких страниц продвигаются по запросам. Сначала хотел закрыть от индексации только дубли контента продвигаемых страниц, но теперь думаю все эти дубли запретить к индексации.
Вот такие страницы:
сайт.ру/catalog/item2465/vendor2/
сайт.ру/catalog/item2466/vendor4/pager2/
сайт.ру/catalog/item2604/vendor16/serieStarck/
сайт.ру/catalog/item2610/vendor41/all/
и т.п.
Дублирование идет начиная от 4-го УВ, т.е. все перечисленные выше страницы я хочу закрыть от индексации. Но при этом страницы
сайт.ру/catalog/item2465/
сайт.ру/catalog/item2466/
сайт.ру/catalog/item2604/
сайт.ру/catalog/item2610/
на третьем УВ в каталоге должны быть доступны.
Кроме того есть продвигаемые страницы среди тех, что хочу закрыть, например:
сайт.ру/item2609/vendor28/
сайт.ру/catalog/item2466/vendor2/
сайт.ру/item2473/vendor11/all/
Как это осуществить в роботс?
Вот что сам придумал:
Allow: /catalog/item2473/vendor11/ # нужная продвигаемая страница
Allow: /catalog/item2605/vendor14/all/ # нужная продвигаемая страница
Allow: /catalog/item2609/vendor26/all/ # нужная продвигаемая страница и т.д.
Disallow: /catalog/item*/
Т.е. получается разрешаем сначала индексировать нужные продвигаемые страницы, которые входят в число дублей. А потом запрещаем все что идет после сайт.ру/catalog/item*/
где * - любые возможные комбинации.
Но страницы вида
сайт.ру/catalog/item2465/
сайт.ру/catalog/item2466/
сайт.ру/catalog/item2604/
Нужны для индексации, а все что идет после слеша уже не нужно (за исключением некоторых продвигаемых страниц). Получается что в моем примере роботс страницы вида сайт.ру/catalog/item2604/ тоже не будут индексироваться...
В общем я что-то запутался.
Если подвести все кратко, то страницы вида сайт.ру/catalog/item2465/vendor2/и_все_что_идет_далее не нужны.
Страницы вида сайт.ру/catalog/item2465/ нужны.
И так же нужны некоторые отдельные страницы вида
сайт.ру/catalog/item2463/vendor7
или сайт.ру/catalog/item2863/vendor9/all
Посоветуйте, плиз, как тут оформить роботс.
В вебмастере яндекса
Настройка индексирования
*
Анализ robots.txt
делаеш свой роботс
далее чють ниже видим
Список URL
добавить
жмем добавить и вписываем урлы которые нужны и далее кнопка проверить если они будут отмечены как доступны для индексации можно закачивать робот на сайт если нет то дальше думать...