Одно ясно совершенно точно
Disallow: */clear/apply/
не срабатывает
Сейчас буду пробовать
Disallow: */filter/*
Добрый день,
Не могу закрыть страницы типа в Битрикс:
https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnye/filter/clear/apply/
https://rosa-montazh.com/catalog/radiatory/stalnye_panelnye/filter/clear/apply/
https://rosa-montazh.com/catalog/gorelki_dlya_kotlov/gazovye_gorelki/filter/clear/apply/
Дирректива
Disallow: /filter/
не срабатывает.
Вот файл robots.txt
User-Agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Disallow: /akcii/
Disallow: /kompaniya/partnery/
Disallow: /kompaniya/personal/
Disallow: /download/
Allow: /search/map.php
Disallow: /cart/
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
Disallow: *?FILTER*=
Disallow: *?ei=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *ELEMENT_ID=
Disallow: *price_from=
Disallow: *price_to=
Disallow: *PROPERTY_TYPE=
Disallow: *PROPERTY_WIDTH=
Disallow: *PROPERTY_HEIGHT=
Disallow: *PROPERTY_DIA=
Disallow: *PROPERTY_OPENING_COUNT=
Disallow: *PROPERTY_SELL_TYPE=
Disallow: *PROPERTY_MAIN_TYPE=
Disallow: *PROPERTY_PRICE
Disallow: *SECTION_ID=
Disallow: *SECTION
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=
Disallow: *TYPE=
Sitemap: https://rosa-montazh.com/sitemap.xml
Подскажите как закрыть от индекса
Убрал но теперь в индекс попадают страници типа:
Как из заблокировать? Проходят как дубли title
В любое место?
И что это даст?
Вставила в header.php:
<?
$APPLICATION->AddHeadString('<link rel="canonical"
href="https://rosa-montazh.com' . str_replace('index.php', '',
$APPLICATION->GetCurPage(true)) . '" />');
?>
Отлично! Пагинация исчезла!
Но есть другая проблема. При аудите появились дублирующиеся title в разделах и страницах. Вот такого вида:
https://rosa-montazh.com/catalog/kotly/gazovye/gazovyy_kotel_protherm_medved_40klom_35kvt_plavnaya_modulyatsiya/
https://rosa-montazh.com/catalog/kotly/gazovyy_kotel_protherm_medved_40klom_35kvt_plavnaya_modulyatsiya/
https://rosa-montazh.com/catalog/kotly/tverdotoplivnye/viadrus_chugunnyy_tverdotoplivnyy_kotel_viadrus_u22_s_4_d_4/
https://rosa-montazh.com/catalog/kotly/viadrus_chugunnyy_tverdotoplivnyy_kotel_viadrus_u22_s_4_d_4/
Как избавиться от дублей и что скрывать раздел или страницу?
Использую для аудита Serpstat. Галочка напротив пункта "учитывать robots.txt при аудите" cтоит.
Вот текущий robots.txt
User-Agent: *Allow: /search/map.phpAllow: /bitrix/components/Allow: /bitrix/cache/Allow: /bitrix/js/Allow: /bitrix/templates/Allow: /bitrix/panel/Allow: /catalog/*Disallow: /bitrix/Disallow: /upload/Disallow: /search/Disallow: /club/search/Disallow: /club/group/search/Disallow: /club/forum/search/Disallow: /communication/forum/search/Disallow: /communication/blog/search.phpDisallow: /club/gallery/tags/Disallow: /examples/my-components/Disallow: /examples/download/download_private/Disallow: /auth/Disallow: /auth.phpDisallow: /personal/Disallow: /communication/forum/user/Disallow: /e-store/paid/detail.phpDisallow: /e-store/affiliates/Disallow: /club/$Disallow: /club/messages/Disallow: /club/log/Disallow: /content/board/my/Disallow: /content/links/my/Disallow: /*/search/Disallow: /*?PAGENDisallow: /*PAGEN_1=Disallow: /*PAGEN_2=Disallow: /*PAGEN_3=Disallow: /*PAGEN_4=Disallow: /*PAGEN_5=Disallow: /*PAGEN_6=Disallow: /*PAGEN_7=Disallow: /*PAGE_NAME=user_postDisallow: /*PAGE_NAME=detail_slide_showDisallow: /*PAGE_NAME=searchDisallow: /*PAGE_NAME=user_postDisallow: /*PAGE_NAME=detail_slide_showDisallow: /*/slide_show/Disallow: /*/gallery/*order=*Disallow: /*?print=Disallow: /*&print=Disallow: /*register=yesDisallow: /*forgot_password=yesDisallow: /*change_password=yesDisallow: /*login=yesDisallow: /*logout=yesDisallow: /*auth=yesDisallow: /*action=ADD_TO_COMPARE_LISTDisallow: /*action=DELETE_FROM_COMPARE_LISTDisallow: /*action=ADD2BASKETDisallow: /*action=BUYDisallow: /*print_course=YDisallow: /*bitrix_*=Disallow: /*backurl=*Disallow: /*BACKURL=*Disallow: /*back_url=*Disallow: /*BACK_URL=*Disallow: /*back_url_admin=*Disallow: /*index.php$Disallow: /e-store/Disallow: /kompaniya/partnery/Disallow: /cart/Disallow: /*?method*Disallow: /filter/Disallow: /*/kotly/Disallow: /*/radiatory/Disallow: /*/teplovye_nasosy/Disallow: /*/gorelki_dlya_kotlov/Disallow: /*/vodonagrevateli_rosa/Host: https://rosa-montazh.comSitemap: https://rosa-montazh.com/sitemap.xml
Только что провела аудит. вылезли все теже ошибки:
https://rosa-montazh.com/catalog/kotly/gazovye/?PAGEN_1=2&method=desc&sort=show_counter
https://rosa-montazh.com/catalog/kotly/gazovye/?PAGEN_1=1&PAGEN_2=1&PAGEN_3=1&kol=120&type_show=list
https://rosa-montazh.com/catalog/kotly/gazovye/?PAGEN_1=2&method=asc&sort=NAME
https://rosa-montazh.com/catalog/kotly/gazovye/?PAGEN_1=1&PAGEN_2=1&PAGEN_3=1&kol=60&type_show=pl
https://rosa-montazh.com/catalog/kotly/gazovye/?PAGEN_2=1&PAGEN_3=1&kol=180&method=asc&sort=property_PRICE
https://rosa-montazh.com/catalog/kotly/gazovye/?PAGEN_1=2&type_show=pl
https://rosa-montazh.com/catalog/kotly/gazovye/filter/clear/apply/?method=asc&sort=property_PRICE
Что не так то? Знает кто нибудь в чем проблема здесь или что?
Теперь при аудите вылезают ошибки типа:
https://rosa-montazh.com/catalog/kotly/tverdotoplivnye/?PAGEN_2=1&PAGEN_3=1&kol=180https://rosa-montazh.com/catalog/kotly/tverdotoplivnye/filter/clear/apply/https://rosa-montazh.com/catalog/kotly/tverdotoplivnye/?method=asc&sort=property_PRICE
хотя в роботс закрыта пагинация - Disallow: /*?PAGEN* и дирректория /filter/ - Disallow: /filter/
похоже, что инструкции в этом файле robots.txt конфликтуют друг с другом, но проверка яндекс.вебмастера ошибок не показывает.
Что то я не так сделала?
Подскажите как закрыть это?
# разрешает все файлы по пути "/catalog/...":Allow: /catalog/*# запрещает все подпути содержащие "/kotly/,/radiatory/" и т.д., но Allow выше отменяет часть запрета:Dissllow: /*/kotly/Dissllow: /*/radiatory/Disallow: /*/teplovye_nasosy/Dissllow: /*/gorelki_dlya_kotlov/Dissllow: /*/vodonagrevateli_rosa/
Это мне добавить в файл или вставить заместо моих изысканий?
Cпасибо за ответ. Сейчас буду пробовать :)---------- Добавлено 27.01.2019 в 17:26 ----------Вот что получилось. Посмотрите, плз насколько правильно составлен robots.txt. Может быть есть какие-то явные ошибки?
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Disallow: /*?PAGEN*
Disallow: /*&print=
Disallow: /e-store/
Disallow: /*?method*
Allow: /catalog/teplovye_nasosy/geotermalnye/*
Allow: /catalog/teplovye_nasosy/vozdushnye/*
Allow: /catalog/teplovye_nasosy/komplektuyushchie_dlya_teplovykh_nasosov/*
Disallow: /catalog/teplovye_nasosy/*
Allow: /catalog/radiatory/stalnye_panelnye/*
Dissllow: /catalog/radiatory/*
Allow: /catalog/kotly/gazovye/*
Allow: /catalog/kotly/elektricheskie/*
Allow: /catalog/kotly/tverdotoplivnye/*
Allow: /catalog/kotly/dizelnye/*
Dissllow: /catalog/kotly/*
Allow: /catalog/vodonagrevateli_rosa/kosvennogo_nagreva/*
Allow: /catalog/vodonagrevateli_rosa/teploakkumulyatory_bufery/*
Dissllow: /catalog/vodonagrevateli_rosa/*
Allow: /catalog/gorelki_dlya_kotlov/dizelnye_gorelki/*
Allow: /catalog/gorelki_dlya_kotlov/gazovye_gorelki/*
Dissllow: /catalog/gorelki_dlya_kotlov/*
Host: https://rosa-montazh.com
User-Agent: Yandex
User-Agent: Googlebot
Allow: *.css
Allow: *.js
Всем добрый день.
При аудите сайта на битрикс вылезли ошибки с дублирующимися тегами. При просмотре в ошибки попали следующие типы страниц:
Пример:
https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnye/geotermalnyy_teplovoy_nasos_nibe_f1245_8_r_1x230v_s_bakom_gvs_8_kvt_odnofaznyy/
https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnyy_teplovoy_nasos_nibe_f1245_8_r_1x230v_s_bakom_gvs_8_kvt_odnofaznyy/
Разница между ними только в добавлении категории "/geotermalnyt/" к одному из них
Какой из этих адресов нужно закрыть в robots.txt и как вообще правильно устранять такие ошибки?
Cпасибо за подробный ответ :)
