- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте! В ИМ нужно закрыть от индексации 10К+ товаров. Проблема в том, что в ЧПУ нет категории перед ними: site.ru/tovar.html. И сложно поставить мета.
Можно ли добавить и хранить столько строк в robots.txt?
Главное, чтобы размер файла не превышал максимального значения.
Для Яндекса - 32 Кб.
Для Гугла - 500 Кб.
Я бы сделал текстовый файл, внес туда списком все страницы, которые надо закрыть и в начале индексного файла проверял бы наличие текущего url в этом списке и либо error404 отдавал, либо мета ноуиндекс дописывал.
метатег ноиндекс на страницы
А вы уверены что это надо делать?
А что если подставить в CMS уникальный набор символов (например "_net879") в конце нужных урл, которые не нужно индексировать и прописать по итогу одно лишь правило в robots с этим уникальным набором символов на их запрет. И роботс не будет большим и не нужно будет с ссылками заморачиваться. Единственное есть ли у вашей CMS возможность массового редактирования УРЛ
А что если подставить в CMS уникальный набор символов (например "_net879") в конце нужных урл, которые не нужно индексировать и прописать по итогу одно лишь правило в robots с этим уникальным набором символов на их запрет. И роботс не будет большим и не нужно будет с ссылками заморачиваться. Единственное есть ли у вашей CMS возможность массового редактирования УРЛ
Старые урлы останутся в индексе и долго будут 404 светить
А если сделать редирект то это долго по времени будет
А вы уверены что это надо делать?
Если нет возможности сделать быстрый запрет индексации, отредактируйте содержимое этих товаров. Возможно можно сделать правки по неуникальному контенту, добавлению уникальной информации методом правки характеристик товаров и т.д.