Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Все вопросы по robots.txt - 2

1... 202122232425262728 ...38
S4
На сайте с 26.05.2016
Offline
20
shev4ik
#231

Добрый день, зашел в гугл консоль и мне пишет такое сообщение "Доступ к отправленному URL заблокирован в файле robots.txt"

[ATTACH]180481[/ATTACH]

в чем может быть причина??

Текст роботст 

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: *?s*

Disallow: /search

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment/

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */wp-json/*

Allow: /wp-content/uploads/

Crawl-delay: 10

Host: buton.info



User-agent: Googlebot

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: *?s*

Disallow: /search

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment/

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */wp-json/*

Allow: /wp-content/uploads/

Crawl-delay: 10



User-agent: Mail.Ru

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: *?s*

Disallow: /search

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment/

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */wp-json/*

Allow: /wp-content/uploads/

Crawl-delay: 10



User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: *?s*

Disallow: /search

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment/

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */wp-json/*

Allow: /wp-content/uploads/

Crawl-delay: 10



User-agent: Googlebot-Image

Allow: /wp-content/uploads/

Crawl-delay: 10



User-agent: YandexImages

Allow: /wp-content/uploads/

Crawl-delay: 10



User-agent: Mediapartners-Google

Disallow:

Crawl-delay: 10



User-Agent: YaDirectBot

Disallow:

Crawl-delay: 10



Sitemap: http://buton.info/sitemap.xml

Спасибо

png robots_error.png
voxia
На сайте с 12.10.2016
Offline
23
voxia
#232
shev4ik:
...такое сообщение "Доступ к отправленному URL заблокирован в файле robots.txt"

А примеры заблокированных URL?

S4
На сайте с 26.05.2016
Offline
20
shev4ik
#233

voxia,

[ATTACH]180550[/ATTACH]

[ATTACH]180551[/ATTACH]

png error_1.png
png error_2.png
[Удален]
#234

А что тут неясного, у вас прямо запрещен attachment

voxia
На сайте с 12.10.2016
Offline
23
voxia
#235

shev4ik, ваш ворпресс к каждой статье генерирует страницу (в URL содержится фрагмент /attachment/) с мультимедийным содержанием статьи, в данном случае - с картинками из статьи. Гугл о таких страницах узнаёт из sitemap.xml, хочет посмотреть что там, но ему мешает правило в robots.txt - Disallow: */attachment/*

Если есть мнение, что эти отдельные страницы с картинками должны быть проиндексированы поисковиками, то из robots.txt следует удалить все директивы Disallow: */attachment/*

Но, по-моему, этого делать не надо. Консоль гугла просто уведомляет, что на сайте обнаружен некий контент, куда роботов, по мнению разработчиков ворпресса, пускать не следует.

S4
На сайте с 26.05.2016
Offline
20
shev4ik
#236

voxia,

Cпасибо, то есть, проблемы в этом нет?

NW
На сайте с 25.04.2017
Offline
14
NinaWhite
#237

Всем добрый день.

При аудите сайта на битрикс вылезли ошибки с дублирующимися тегами. При просмотре в ошибки попали следующие типы страниц:

Пример:

https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnye/geotermalnyy_teplovoy_nasos_nibe_f1245_8_r_1x230v_s_bakom_gvs_8_kvt_odnofaznyy/

https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnyy_teplovoy_nasos_nibe_f1245_8_r_1x230v_s_bakom_gvs_8_kvt_odnofaznyy/

Разница между ними только в добавлении категории "/geotermalnyt/" к одному из них

Какой из этих адресов нужно закрыть в robots.txt и как вообще правильно устранять такие ошибки?

V9
На сайте с 25.08.2010
Offline
118
vitaliy999
#238

Примерно так:

Allow: /catalog/teplovye_nasosy/geotermalnye/*

Disallow: /catalog/teplovye_nasosy/*

Проверьте корректность в вебмастере яндекса в аналезе robots.txt

В Allow: добавить все нужные категории.

NW
На сайте с 25.04.2017
Offline
14
NinaWhite
#239

Cпасибо за ответ. Сейчас буду пробовать :)

---------- Добавлено 27.01.2019 в 17:26 ----------

Вот что получилось. Посмотрите, плз насколько правильно составлен robots.txt. Может быть есть какие-то явные ошибки?

User-Agent: *

Allow: /search/map.php

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

Disallow: /bitrix/

Disallow: /upload/

Disallow: /search/

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*?PAGEN*

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

Disallow: /e-store/

Disallow: /kompaniya/partnery/

Disallow: /cart/

Disallow: /*?method*

Disallow: /filter/

Allow: /catalog/teplovye_nasosy/geotermalnye/*

Allow: /catalog/teplovye_nasosy/vozdushnye/*

Allow: /catalog/teplovye_nasosy/komplektuyushchie_dlya_teplovykh_nasosov/*

Disallow: /catalog/teplovye_nasosy/*

Allow: /catalog/radiatory/stalnye_panelnye/*

Dissllow: /catalog/radiatory/*

Allow: /catalog/kotly/gazovye/*

Allow: /catalog/kotly/elektricheskie/*

Allow: /catalog/kotly/tverdotoplivnye/*

Allow: /catalog/kotly/dizelnye/*

Dissllow: /catalog/kotly/*

Allow: /catalog/vodonagrevateli_rosa/kosvennogo_nagreva/*

Allow: /catalog/vodonagrevateli_rosa/teploakkumulyatory_bufery/*

Dissllow: /catalog/vodonagrevateli_rosa/*

Allow: /catalog/gorelki_dlya_kotlov/dizelnye_gorelki/*

Allow: /catalog/gorelki_dlya_kotlov/gazovye_gorelki/*

Dissllow: /catalog/gorelki_dlya_kotlov/*

Host: https://rosa-montazh.com

Sitemap: https://rosa-montazh.com/sitemap.xml

User-Agent: Yandex

Disallow: /bitrix/

Disallow: /upload/

Disallow: /search/

Allow: /search/map.php

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*?PAGEN*

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

Disallow: /e-store/

Disallow: /*?method*

Disallow: /filter/

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

Disallow: /kompaniya/partnery/

Disallow: /cart/

Allow: /catalog/teplovye_nasosy/geotermalnye/*

Allow: /catalog/teplovye_nasosy/vozdushnye/*

Allow: /catalog/teplovye_nasosy/komplektuyushchie_dlya_teplovykh_nasosov/*

Disallow: /catalog/teplovye_nasosy/*

Allow: /catalog/radiatory/stalnye_panelnye/*

Dissllow: /catalog/radiatory/*

Allow: /catalog/kotly/gazovye/*

Allow: /catalog/kotly/elektricheskie/*

Allow: /catalog/kotly/tverdotoplivnye/*

Allow: /catalog/kotly/dizelnye/*

Dissllow: /catalog/kotly/*

Allow: /catalog/vodonagrevateli_rosa/kosvennogo_nagreva/*

Allow: /catalog/vodonagrevateli_rosa/teploakkumulyatory_bufery/*

Dissllow: /catalog/vodonagrevateli_rosa/*

Allow: /catalog/gorelki_dlya_kotlov/dizelnye_gorelki/*

Allow: /catalog/gorelki_dlya_kotlov/gazovye_gorelki/*

Dissllow: /catalog/gorelki_dlya_kotlov/*

User-Agent: Googlebot

Allow: *.css

Allow: *.js

Disallow: /bitrix/

Disallow: /upload/

Disallow: /search/

Allow: /search/map.php

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*?PAGEN*

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

Disallow: /e-store/

Disallow: /filter/

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

Disallow: /kompaniya/partnery/

Disallow: /cart/

Disallow: /*?method*

Allow: /catalog/teplovye_nasosy/geotermalnye/*

Allow: /catalog/teplovye_nasosy/vozdushnye/*

Allow: /catalog/teplovye_nasosy/komplektuyushchie_dlya_teplovykh_nasosov/*

Disallow: /catalog/teplovye_nasosy/*

Allow: /catalog/radiatory/stalnye_panelnye/*

Dissllow: /catalog/radiatory/*

Allow: /catalog/kotly/gazovye/*

Allow: /catalog/kotly/elektricheskie/*

Allow: /catalog/kotly/tverdotoplivnye/*

Allow: /catalog/kotly/dizelnye/*

Dissllow: /catalog/kotly/*

Allow: /catalog/vodonagrevateli_rosa/kosvennogo_nagreva/*

Allow: /catalog/vodonagrevateli_rosa/teploakkumulyatory_bufery/*

Dissllow: /catalog/vodonagrevateli_rosa/*

Allow: /catalog/gorelki_dlya_kotlov/dizelnye_gorelki/*

Allow: /catalog/gorelki_dlya_kotlov/gazovye_gorelki/*

Dissllow: /catalog/gorelki_dlya_kotlov/*

WebAlt
На сайте с 02.12.2007
Offline
250
WebAlt
#240

Вам же написали где проверить:

https://webmaster.yandex.ru/tools/robotstxt/

https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html

# разрешает все файлы по пути "/catalog/...":
Allow: /catalog/*

# запрещает все подпути содержащие "/kotly/,/radiatory/" и т.д., но Allow выше отменяет часть запрета:
Dissllow: /*/kotly/
Dissllow: /*/radiatory/
Disallow: /*/teplovye_nasosy/
Dissllow: /*/gorelki_dlya_kotlov/
Dissllow: /*/vodonagrevateli_rosa/

# больше не учитывается (указывается в панели ВМ), можно удалить:
Host: https://example.org
1... 202122232425262728 ...38

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий