вопрос индексации поддиректорий robots.txt

12
2
На сайте с 12.02.2014
Offline
0
722

Добрый день!

Есть сайт на wordpress с установленным шаблоном темы.

При добавлении товаров, и добавлении фотографий к нему прописываются директории вида:

site.ru/listing/товар/фото/

как запретить индексировать поисковым сетям директории фото:

т.е.

site.ru/listing/товар1/запретить

site.ru/listing/товар2/запретить

site.ru/listing/товар3/запретить

и т. д.

Есть какой-либо вариант, т.к. прописывать в ручную каждый раз /listing/товар1/*/ получится огромный robots.txt и товары постоянно добавляются.

Greensneak
На сайте с 26.05.2013
Offline
99
#1

А не проще запретить /listing/, или там будут важные странички?

Регистрация домена (https://goo.gl/8evS7V), хостинг (https://goo.gl/xhACo2)
S6
На сайте с 06.12.2011
Offline
158
SEO
#2
2ric:
Добрый день!

Есть сайт на wordpress с установленным шаблоном темы.
При добавлении товаров, и добавлении фотографий к нему прописываются директории вида:
site.ru/listing/товар/фото/
как запретить индексировать поисковым сетям директории фото:
т.е.
site.ru/listing/товар1/запретить

site.ru/listing/товар2/запретить

site.ru/listing/товар3/запретить

и т. д.
Есть какой-либо вариант, т.к. прописывать в ручную каждый раз /listing/товар1/*/ получится огромный robots.txt и товары постоянно добавляются.

Писали бы нормальные примеры, а не "site.ru/listing/товар/фото/". Ну, непонятно же совсем, за что цепляться-то?

У всех страниц с фото один и тот же урл, не учитывая разную часть, указывающую на конкретный товар? Если да - легко закрыть по идент "фото". Если нет - зачем тогда такую формулу урла писать?

Greensneak:
А не проще запретить /listing/, или там будут важные странички?

Конечно, проще. Зачем мелочиться, можно же сразу Disallow: / написать. 😂

Аудит сайта. Консультации.
2
На сайте с 12.02.2014
Offline
0
#3
SEO66:
Писали бы нормальные примеры, а не "site.ru/listing/товар/фото/". Ну, непонятно же совсем, за что цепляться-то?

У всех страниц с фото один и тот же урл, не учитывая разную часть, указывающую на конкретный товар? Если да - легко закрыть по идент "фото". Если нет - зачем тогда такую формулу урла писать?



Конечно, проще. Зачем мелочиться, можно же сразу Disallow: / написать. 😂

У всех страниц с фото разный урл, к каждому конкретному товару привязывается свое фото.

Реальные примеры:

/listing/zemelnyiy-uchastok-bulgakovo-snt-neftyanik-7-15-sotok/

/listing/zemelnyiy-uchastok-bulgakovo-snt-neftyanik-7-15-sotok/snt-netyanik-7-2/

/listing/zemelnyiy-uchastok-bulgakovo-snt-neftyanik-7-15-sotok/snt-netyanik-7-15s/

/listing/kvartira-dostoevskogo-3-k-113-3-m-5-14-et/

/listing/kvartira-dostoevskogo-3-k-113-3-m-5-14-et/dostoevskrona3/

/listing/kvartira-dostoevskogo-3-k-113-3-m-5-14-et/dostoevskrona2/

/listing/kvartira-dostoevskogo-3-k-113-3-m-5-14-et/dostoevskrona1/

Соответственно нужно запертить в первом примере /snt-netyanik-7-2/ ; /snt-netyanik-7-15s/,

во втором /dostoevskrona3/ ; /dostoevskrona2/ ; /dostoevskrona1/

siv1987
На сайте с 02.04.2009
Offline
427
#4

Disallow: /listing/*/*/

2
На сайте с 12.02.2014
Offline
0
#5
siv1987:
Disallow: /listing/*/*/

Спасибо!:)

S6
На сайте с 06.12.2011
Offline
158
SEO
#6
siv1987:
Disallow: /listing/*/*/
2ric:
Спасибо!:)

Дак товары-то в таком случае закрыты будут. Вам они не нужны в индексе? :)

Только картинки никак не закрыть, не имея у них общего идентификатора.

Правило siv1987 работало бы, если у товаров урл был без / на конце.

IL
На сайте с 20.04.2007
Offline
435
#7
SEO66:
Правило siv1987 работало бы, если у товаров урл был без / на конце.

Пруф?

2ric:
Соответственно нужно запертить в первом примере /snt-netyanik-7-2/ ; /snt-netyanik-7-15s/,
во втором /dostoevskrona3/ ; /dostoevskrona2/ ; /dostoevskrona1/

А товар попадает под маску, выделенную полужирным:

siv1987:
Disallow: /listing/*/*/

И да.. если захочется "поиграться" (не забываем указывать хост в т.ч. в URL-ах):

http://webmaster.yandex.ru/robots.xml#results

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
S6
На сайте с 06.12.2011
Offline
158
SEO
#8
ivan-lev:
Пруф?

Какой пруф? Это же задача на тест. Сами ссылку на сервис проверки роботса скинули - проверьте.

p.s. вся фишка в секциях /, если они заданы в формуле - то они и в урлах должны присутствовать, на которые действует правило директивы.

IL
На сайте с 20.04.2007
Offline
435
#9
SEO66:
Какой пруф? Это же задача на тест. Сами ссылку на сервис проверки роботса скинули - проверьте.

SEO66, если действительно не понимаете, где именно Вы неправы - перечитайте внимательно ветку целиком ещё раз.

Если и тогда не поймёте - можете воспользоваться тем самым сервисом.

Если после всего этого будете продолжать настаивать - добавьте скрин для пущей убедительности.

Спасибо.

S6
На сайте с 06.12.2011
Offline
158
SEO
#10
ivan-lev:
SEO66, если действительно не понимаете, где именно Вы неправы - перечитайте внимательно ветку целиком ещё раз.

Если и тогда не поймёте - можете воспользоваться тем самым сервисом.

Если после всего этого будете продолжать настаивать - добавьте скрин для пущей убедительности.

Спасибо.

Сами перечитайте и сервисом воспользуйтесь. А то вы на ёжика пока что похожи. 🤪

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий