450 строк в Роботтс тхт

12 3
M
На сайте с 29.08.2024
Offline
32
6361

Нужно закрыть в роботс 450 страниц брендов, где мало товаров. Писать для каждого Юзер агент накладно наверное. Может можно написать сразу для User-agent: * ?

Можно наверное просто удалить бренды, но тогда:

1. Долго. Это не список.

2. При импорте нового товара эти бренды могут снова возникнуть. Не пересматривать же прайс из 40.000 строк на предмет наличия какого то бренда и сколько у него товаров.


PS. Прочел, что 

Директива User-agent: * в файле robots.txt указывает, что все правила актуальны для всех поисковых роботов (за исключением тех, для кого составлены «персональные» списки).  4


Дык если и Яндексу и Гуглу идут одни и те же строки, то не проще тогда писать все только для  User-agent: * ?

Vladimir SEO
На сайте с 19.10.2011
Offline
1952
#1
Mnlaw :
Нужно закрыть в роботс 450 страниц брендов, где мало товаров.
не нужно
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
M
На сайте с 29.08.2024
Offline
32
#2
Vladimir SEO #:
не нужно

Почему? Посадочные же страницы. А там товара до 3. Я их отсеял. 4 и выше уже оставил. Модуль автоматом закрывает от индексации только если ноль будет. разве это не та же страница с минимум товара, как и в фильтрах. Суть же одна.

Vladimir SEO
На сайте с 19.10.2011
Offline
1952
#3
Mnlaw #:

Почему? Посадочные же страницы. А там товара до 3. Я их отсеял. 4 и выше уже оставил. Модуль автоматом закрывает от индексации только если ноль будет. разве это не та же страница с минимум товара, как и в фильтрах. Суть же одна.

если у всех на рынке три товара и кластер такой есть и есть спрос на него тогда ок, во всех остальных случаях - удалить и забыть
Антоний Казанский
На сайте с 12.04.2007
Offline
742
#4
Mnlaw :
Нужно закрыть в роботс 450 страниц брендов, где мало товаров. Писать для каждого Юзер агент накладно наверное. Может можно написать сразу для User-agent: * ?

Может быть проще общее правило для страниц брендов в meta - noindex, follow? А потом для тех, где нужно открыть/ать индексацию?

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
M
На сайте с 29.08.2024
Offline
32
#5
Антоний Казанский #:

Может быть проще общее правило для страниц брендов в meta - noindex, follow? А потом для тех, где нужно открыть/ать индексацию?

Может и да. Но я не силен в этих вещах, совсем не разбираюсь и программировать не могу. Тем более какое общее правило, если только часть надо закрыть.

Ну вообще то конечно модуль нужно купить какой то, который упрощает этот и другие моменты. Но пока его нет, да и задача пока это разовая. Ради 1 раза жалко покупать.

Сергей про е-ком
На сайте с 11.05.2008
Offline
283
#6
Vladimir SEO #:
если у всех на рынке три товара и кластер такой есть и есть спрос на него тогда ок, во всех остальных случаях - удалить и забыть
Спорно. )
Крутейшая тема и конструктор на WP - https://shop.greenshiftwp.com/?from=3338
Vladimir SEO
На сайте с 19.10.2011
Offline
1952
#7
аргументы ?
sochi-russia
На сайте с 06.01.2012
Offline
193
#8
Mnlaw :

Нужно закрыть в роботс 450 страниц брендов, где мало товаров. Писать для каждого Юзер агент накладно наверное. Может можно написать сразу для User-agent: * ?

Можно наверное просто удалить бренды, но тогда:

1. Долго. Это не список.

2. При импорте нового товара эти бренды могут снова возникнуть. Не пересматривать же прайс из 40.000 строк на предмет наличия какого то бренда и сколько у него товаров.


PS. Прочел, что 

Директива User-agent: * в файле robots.txt указывает, что все правила актуальны для всех поисковых роботов (за исключением тех, для кого составлены «персональные» списки).  4


Дык если и Яндексу и Гуглу идут одни и те же строки, то не проще тогда писать все только для  User-agent: * ?

Соберите ссылки и сделайте запрос в чат got, он вам составит роботс с запретом на эти ссылки

Telegram Чат Бот дешёвых авиабилетов https://t.me/Aviaonlinebot Супер Хостинг от 9,20 руб в день https://clck.ru/Rk2P5 🖧 VPS от 19 руб. https://clck.ru/afhGc 🖧 Выделенные СЕРВЕРЫ - БЕСПЛАТНЫЕ плюшки https://clck.ru/YhkZe 🖧 / / Хостинг от 6руб в день! https://clck.ru/Rk2P5
Станислав
На сайте с 27.12.2009
Offline
254
#9

Хрень какая то, какой роботс тут вообще?

Найми программиста который создать правило на страницах бренда, если меньше 4х товаров на странице, то вывести в meta noindex.

Эта фигня пишется на пару строк, а роботс оставьте в покое! 

Мы там, где рады нас видеть.
S
На сайте с 12.02.2016
Offline
71
#10

В справке яндекса сказано:

Роботы Яндекса корректно обрабатывают robots.txt, если:
  • Размер файла не превышает 500 КБ

С количеством строк 450 файл не один мегабайт будет весить. И роботы его тупо открывать не будут.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий