Все вопросы по robots.txt

M
На сайте с 22.02.2013
Offline
111
#771

Приветствую уважаемые. Есть страницы, которые нужны для пользователей, но не нужны для ПС вида:

сайт.ру/категория1/подкатегория2/бренд-ru.html

Правильно ли будет закрытие в роботс:

Disallow: /*/*/*-ru.html

и на сколько это эстетично и валидно, если кроме брендов концовка "-ru.html" нигде не упоминается? Будут ли индексироваться страницы вида:

сайту.ру/категория1/подкатегория2/abcru.html

Вопрос касается ПС Яндекс, Гугл, Мейл.

[Удален]
#772

Disallow: /*-ru.html

Vit
На сайте с 25.08.2016
Offline
46
Vit
#773

Здравствуйте.

Сайт на Вордпресс + премиум тема с возможностью создания галерей. Решили использовать эту возможность - создали некоторое количество галерей из не уникальных картинок, картинки от индексации не закрывали.

Анализ сайта показывает следующую картину:

http://pastenow.ru/103RY

То есть 1800+ - это ошибки в галереях по ТОП 3 ошибок и предупреждений.

Вижу три варианта решения этой проблемы:

1. Написать короткие тексты к каждой галерее на 2-3к знаков, с Н1, дискрипшен, все как полагается. В этом случае, если я правильно понимаю нужно быть бдительным чтобы не было переспама, тк сайт уже полностью выписан согласно СЯ.

2. Удалить все галереи и забить на эту возможность премиум темы.

3. Оставить галереи, но закрыть их от индексации.

Посоветуйте пожалуйста какой вариант наиболее эффективен.

Возможно есть другие варианты, о которых я не знаю?

И еще один вопрос: с помощью какого сервиса/инструмента можно посмотреть количество и источник переходов на галереи? Может быть они действительно не нужны пользователю.

Спасибо

[Удален]
#774

Это не анализ сайта, а что-то из серии гуана. По вопросам:

1. Причем тут переспам на галереях к ся?

2. А зачем создавали?

3. А зачем?

Вы хоть сами для начала поймите, чего хотите.

Про источник и пр - неужто метрика/аналитикс?

p.s. и причем тут robots.txt???

Vit
На сайте с 25.08.2016
Offline
46
Vit
#775

Анализ ошибок сайта получаю с сервиса https://ru.semrush.com/

Кстати, для общего понимания моей ситуации, речь идет об информационном сайте женской тематики (мода).

1. Причем тут переспам на галереях к ся?

-при том что изначально, для сайта было составлено полное СЯ, и на основании СЯ - были созданы ТЗ для авторов, с учетом того чтобы не было переспама ну и тд, чтобы все было сбалансированно. Сайт уже полностью выписан. И если сейчас выписывать для каждой галереи новые тексты, тогда текущий идеальный баланс будет нарушен.

2. А зачем создавали?

-что зачем создавали? галереи? потому что сайт женской модной тематики, где визуальная составляющая совсем не помешала бы.

3. А зачем?

-я не понял этот вопрос, возможно ответ выше.

4. При чем тут robots.txt ?

-основной мой вопрос: закрывать от индексации галереи? Либо не закрывать и исправить текущие ошибки - то есть дописать к каждой галереи тексты и оформить их как следует, как того требует робот, чтобы убрать 1800+ предупреждений.

Если вдруг я обратился не в ту тему, подскажите пожалуйста где мне можно задать эти вопросы.

В поиске форума я нашел несколько подобных вопросов, но при попытке задать свой вопрос там, вылезла ошибка что данная тема устарела и разместить свой вопрос там не представляется возможным.

Спасибо

[Удален]
#776
Vitalii73:
-при том что изначально, для сайта было составлено полное СЯ, и на основании СЯ - были созданы ТЗ для авторов, с учетом того чтобы не было переспама ну и тд, чтобы все было сбалансированно. Сайт уже полностью выписан. И если сейчас выписывать для каждой галереи новые тексты, тогда текущий идеальный баланс будет нарушен.

Глупость. Тексты то на других страницах - галереи.

Vitalii73:
-что зачем создавали? галереи? потому что сайт женской модной тематики, где визуальная составляющая совсем не помешала бы.

Так с чего их удалять?

Vitalii73:
-основной мой вопрос: закрывать от индексации галереи? Либо не закрывать и исправить текущие ошибки - то есть дописать к каждой галереи тексты и оформить их как следует, как того требует робот, чтобы убрать 1800+ предупреждений.

На эти 1800+ предупреждений проще положить большой и толстый. А на галереях нужно прописать картинки, ну и 1-2 предложения в начало сунуть (кто знает, как он там у вас организованы).

А тему надо было отдельную создавать в этом же разделе.

M
На сайте с 22.02.2013
Offline
111
#777
Miha Kuzmin (KMY):
Disallow: /*-ru.html

простите, не уточнил, должно индексироваться "сайт.ру/бренд-ru.html" (кстати, при приведенном Вами Disallow не индексируется "сайт.ру/бренд-ru.html", а вот "сайт.ру/категория1/подкатегория2/бренд-ru.html" по серверу ЯВМ отдает 200 код).

[Удален]
#778

Если категорий1-2 много, затрахаетесь. То есть или 404 сходу (бот все равно будет заходить даже при закрытом роботсе), либо чуть поменяйте структуру - к примеру морфируйте урл для данного случая чуть.

Vit
На сайте с 25.08.2016
Offline
46
Vit
#779

Глупость. Тексты то на других страницах - галереи.

-То есть, вы хотите сказать что переспам на одной странице (галерея/статья) не влияет на переспам всего сайта в целом?..

Так с чего их удалять?

-Мне и не хотелось бы удалять галереи, но не хотелось бы встрять из-за не такой уж важной фишки, как галереи.

На эти 1800+ предупреждений проще положить большой и толстый. А на галереях нужно прописать картинки, ну и 1-2 предложения в начало сунуть (кто знает, как он там у вас организованы).

-То есть, к каждой галерее написать коротенькие тексты по всем правилам (Н1, дискрипшен и тд), и от индексации ничего не закрывать? Робот перестанет ругаться, а пользователь получит визуальный и полезный для него контент, я правильно понял?

И еще раз задам свой вопрос: каким образом можно проверить количество и источник переходов на эти галереи? Может быть действительно вопрос не стоит выеденного яйца)

Спасибо за совет про создание новой темы, это мой первый вопрос на этом форуме.

[Удален]
#780
Vitalii73:
-То есть, вы хотите сказать что переспам на одной странице (галерея/статья) не влияет на переспам всего сайта в целом?..

Я не хочу это сказать, так и есть.


И еще раз задам свой вопрос: каким образом можно проверить количество и источник переходов на эти галереи? Может быть действительно вопрос не стоит выеденного яйца)

Я отвечал.

Miha Kuzmin (KMY):
Про источник и пр - неужто метрика/аналитикс?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий