Закрытие 10к страниц от индексации

SL
На сайте с 31.01.2020
Offline
4
344

Здравствуйте! В ИМ нужно закрыть от индексации 10К+ товаров. Проблема в том, что в ЧПУ нет категории перед ними: site.ru/tovar.html. И сложно поставить мета.

Можно ли добавить и хранить столько строк в robots.txt?

Станислав Романенко
На сайте с 05.09.2007
Offline
321
#1

Главное, чтобы размер файла не превышал максимального значения.

Для Яндекса - 32 Кб.

Для Гугла - 500 Кб.

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
X
На сайте с 04.12.2018
Offline
152
#2

Я бы сделал текстовый файл, внес туда списком все страницы, которые надо закрыть и в начале индексного файла проверял бы наличие текущего url в этом списке и либо error404 отдавал, либо мета ноуиндекс дописывал.

Удобный съем позиций (http://allpositions.ru/redirect/58277)
W
На сайте с 08.02.2017
Offline
159
#3

метатег ноиндекс на страницы

Комплексный аудит ИМ. Формирование УТП, анализ юзабилити, каналов продвижения. Контекстная реклама, настройка систем аналитики. Консультация - бесплатно, в ЛС
angel57
На сайте с 01.04.2014
Offline
124
#4

А вы уверены что это надо делать?

wp01
На сайте с 25.01.2019
Offline
15
#5

А что если подставить в CMS уникальный набор символов (например "_net879") в конце нужных урл, которые не нужно индексировать и прописать по итогу одно лишь правило в robots с этим уникальным набором символов на их запрет. И роботс не будет большим и не нужно будет с ссылками заморачиваться. Единственное есть ли у вашей CMS возможность массового редактирования УРЛ

Vladimir SEO
На сайте с 19.10.2011
Offline
1078
#6
wp01:
А что если подставить в CMS уникальный набор символов (например "_net879") в конце нужных урл, которые не нужно индексировать и прописать по итогу одно лишь правило в robots с этим уникальным набором символов на их запрет. И роботс не будет большим и не нужно будет с ссылками заморачиваться. Единственное есть ли у вашей CMS возможность массового редактирования УРЛ

Старые урлы останутся в индексе и долго будут 404 светить

А если сделать редирект то это долго по времени будет

Продвижение коммерческих сайтов https://kulinenko.com Проверка позиций http://allpositions.ru/redirect/10965 Лучший хостинг http://www.ukraine.com.ua/?page=59418
M
На сайте с 03.02.2020
Offline
0
#7
angel57:
А вы уверены что это надо делать?

Если нет возможности сделать быстрый запрет индексации, отредактируйте содержимое этих товаров. Возможно можно сделать правки по неуникальному контенту, добавлению уникальной информации методом правки характеристик товаров и т.д.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий